ADAM和SGD有什么区别

区别：1、基本原理不同；2、速度与效率不同；3、鲁棒性与稳定性的差异；4、超参数的敏感度；5、适应性与广泛性的对比；6、收敛速度的对比。其中，基本原理不同意味着SGD主要基于每次的梯度进行更新，而ADAM则结合了动量和RMSprop的思想。 1、基本原理不同 ADAM：结合了动量（Momentum）和RMSprop的优点。它维护了一个梯度的移动平均值和其平方的移动平均值，以实现自适应的学习率调整...