Adam: A Method for Stochastic Optimization
arXiv： 1412.6980
领域
TLDR（中文）
提出 Adam：为梯度一阶矩和二阶矩各维护一个指数移动平均，用二阶矩的平方根缩放每个参数的学习率。收敛快、对超参稳健，统治深度学习训练近十年；LLM 时代它的解耦变体 AdamW 至今仍是默认优化器。
TLDR (English)
Introduces Adam, which keeps exponential moving averages of gradient first and second moments and rescales each parameter learning rate by the square root of the second moment. Fast and robust, it dominated deep learning for a decade; its decoupled variant AdamW remains the default optimizer for LLM training.
出现在这些文章里
同被引用
这些论文与本文出现在同一篇文章中
相关论文
同一领域的其他论文