训练 / Training
训练
从预训练到对齐的完整流程
5 篇文章
43 篇论文
~40 分钟 阅读时长
推荐阅读顺序
1
预训练与 Scaling Law：模型怎么学
解释预训练目标、数据工程、Scaling Law 与计算最优训练。
2
微调与对齐：让模型听指令、守规矩
解释 SFT、RLHF、DPO 与偏好优化方法。
3
权重更新与优化器：参数如何动起来
从 AdamW 到 Muon：一阶/二阶动量、学习率调度、混合精度、梯度裁剪与训练稳定性工程。
4
并行策略与性能优化：把 GPU 榨干
数据/张量/流水线三维并行、ZeRO 与 FSDP、激活重计算、FlashAttention、MFU 与流水线气泡。
5
集群网络与通信：GPU 之间的对话
NVLink 与 InfiniBand、RDMA 与集合通信、scale-up 与 scale-out，以及万卡集群的网络工程。