集群网络与通信：GPU 之间的对话
网络是训练系统的隐形主角
Section titled “网络是训练系统的隐形主角”一个残酷的比例：GPU 每秒能做上万次乘加，但把一个字节交给隔壁节点，要比本地显存读取慢 上百倍。训练的每一步，梯度、激活值、参数副本都在卡间流动——网络不给力，再贵的 GPU 也在互相等待。
学网络先建立两层心智模型：
- Scale-up（向上扩展）：一台服务器/一个机柜内部，靠 NVLink + NVSwitch 把几十张 GPU 粘成一个「超级 GPU」。带宽极高（1.8TB/s 级）、延迟极低，但域的大小有限（当前上限 72 卡）
- Scale-out（向外扩展）：机柜之间，靠 InfiniBand 或 RoCE 以太网 连成数千到上万节点。带宽低一个数量级、要跨交换机，但几乎无限扩展
记忆口诀：NVLink 域内干细活（张量并行），以太网/IB 干粗活（数据并行的梯度同步）。
带宽阶梯：一个数量级的世界观
Section titled “带宽阶梯：一个数量级的世界观”| 互联 | 单 GPU 可用带宽 | 典型用途 |
|---|---|---|
| NVLink 3（A100 代） | 600 GB/s | 节点内 TP |
| NVLink 4（H100 代） | 900 GB/s | 节点内 TP |
| NVLink 5（B200 代） | 1.8 TB/s | NVL72 机柜内 TP/EP |
| PCIe Gen5 ×16 | ~64 GB/s | 主机互连、次要设备 |
| InfiniBand NDR 400G | ~50 GB/s/端口 | 跨节点 DP/EP |
| RoCE 800G 以太网 | ~100 GB/s/端口 | 跨节点 DP/EP（成本更低） |
NVLink 5 是 PCIe 的约 28 倍、IB 的约 18 倍。 这就是为什么「TP 不要跨 NVLink 域」是铁律，也为什么 GB200 NVL72 把 72 卡装进一个 NVLink 域（聚合 130TB/s、9 个 NVSwitch tray、5000+ 根铜缆、全液冷）被视为里程碑——它把过去要跨 IB 的通信搬进域内，MoE 的 all-to-all 直接受益。
Scale-out 两大阵营：IB vs RoCE
Section titled “Scale-out 两大阵营：IB vs RoCE”- InfiniBand：从头为超算设计的原生无损网络，信用机制防丢包，拥塞控制好、延迟低，SHARP 支持交换机内归约。贵、供应商锁定（NVIDIA/Mellanox）
- RoCE（RDMA over Converged Ethernet）：在标准以太网上跑 RDMA。便宜、生态开放，但要手工实现无损：PFC 防丢包 + ECN/DCQCN 做拥塞控制，调不好就是 PFC 风暴和队头阻塞。NVIDIA Spectrum-X 的意义就在于把 RoCE 的拥塞管理做成交钥匙方案，Meta 的大集群已用它对标 IB
2025 年后的中间路线越来越多：双轨 fat-tree、rail-optimized 拓扑（每张卡一个网卡平面，让 all-to-all 通信按 rail 对齐交换机，减少跨 plane 跳数）。
RDMA 与集合通信：NCCL 是事实标准
Section titled “RDMA 与集合通信：NCCL 是事实标准”RDMA 让网卡绕过 CPU 直接读写远端 GPU 显存（GPUDirect RDMA），把传输从「软件协议栈搬家」变成「硬件 DMA」。
训练常用的四种集合原语（NCCL 实现，拓扑感知自动选算法）：
- AllReduce：全员梯度求和（朴素 DP）。Ring 算法带宽最优（每卡 2(N−1)/N × 消息量），Tree 延迟更优
- ReduceScatter + AllGather：ZeRO/FSDP 的两段式，合计通信量与 AllReduce 相同但显存更省
- AllToAll：MoE 的 dispatch/combine，每个 GPU 给所有其他 GPU 发不同的块，带宽饥渴且对抖动敏感
- Broadcast / Reduce：参数下发、指标汇总
进阶：在网计算。IB SHARP 和 NVLS（NVLink SHARP）让数据在交换机/交换机芯片里就被归约，少一次往返；对 all-reduce 是实打实的 2 倍级加速。NCCL 2.17+ 会自动用 NVLS（只要检测到 NVSwitch）。
万卡工程：把故障当常态
Section titled “万卡工程：把故障当常态”字节 MegaScale（12288 卡）公开的数字最能说明问题：MFU 55%+，但每时每刻都有硬件在坏——把容错做成系统能力而不是运维反应：
- 双平面网络：任一平面维护不中断训练
- 秒级故障定位：链路抖动、慢节点（straggler）自动隔离
- 热备冗余：冗余专家、冗余参数副本
- 分钟级 checkpoint + 快速回滚，回滚点选择本身是策略问题（回太远浪费，回太浅可能带着病灶）
DeepSeek 路线则是另一条：专用通信库（DeepEP for all-to-all、DualPipe 调度、3FS 文件系统），用「为自己的模型形态定制网络软件栈」把 IB 的利用率榨干——5.58M GPU-hours、2 个月训完 671B，网络不是瓶颈。
验证清单（自建集群）
Section titled “验证清单（自建集群）”nccl-tests/build/all_reduce_perf -b 128M -e 4G -f 2 -g 8 # 带宽是否达标nvidia-smi topo -m # GPU-NIC 亲和拓扑ib_write_bw / ib_read_bw # 单链路 RDMA 基线训练侧盯三个指标：通信占比（>20% 就要查）、step time 的 p99/p50 比（抖动即 straggler）、checkpoint 耗时（决定回滚粒度）。
另一条路：TPU 的拓扑哲学
Section titled “另一条路：TPU 的拓扑哲学”GPU 阵营用「小域高速 + 域间 fat-tree」；TPU 阵营走了完全不同的路：3D 环面（torus）芯片间互连 + 光电路交换（OCS）上联。TPU v4（jouppi2023）用 OCS 让 4096 芯片 pod 的拓扑在运行中可重构——训练通信密集的模型时切成高带宽块，推理批处理时切成独立分区。OCS 还能绕开故障链路，把「网络拓扑」从硬件常量变成软件变量。这条路线对 GPU 世界的启示：可重构光互连会不会是十万卡集群的唯一解？
在网计算与 CPO
Section titled “在网计算与 CPO”把归约从端点搬进网络（SHARP/NVLS 是第一代），下一步是**光电共封装（CPO）**与内存语义互连——带宽×能效再上一个台阶。学术界同时在问：集合通信算法能不能和拓扑协同设计（torus 上的分层 all-reduce、rail-aware 的 all-to-all 调度）？当单链路 1.6T/3.2T 到来，拥塞控制算法（HPCC、DCQCN 的继任者）会不会成为新的研究主战场？
🔬 开放研究问题
该领域的关键问题与研究方向：
- RoCE/以太网阵营（含 UEC）能否在万卡规模追平 IB？决胜点在拥塞控制、在网计算，还是运维生态？
- OCS 可重构拓扑会不会进入 GPU 集群？拓扑随训练阶段（DP 同步密集 vs EP all-to-all 密集）动态切换能带来多少端到端收益？
- all-to-all（MoE）能不能借助在网计算/交换机调度做到 IB 上的无损体验？DeepEP 之后下一个数量级在哪里？
- 十万卡集群里，「慢节点」从异常变成分布——调度器能否利用网络遥测（逐流延迟、重传率）实时把任务挪开热点？
本文引用论文
- Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
Megatron-LM 系统论文：把 TP、流水线 1F1B、数据并行组合成完整配方，给出 3D 并行的放置原则（TP 绑在 NVLink 域内、PP 跨节点、DP 兜底）、交错式 1F1B 调度与流水线气泡分析，并在 3072 张 A100 上以 52.8% 峰值利用率训练 GPT-3 量级模型，定义了大集群训练的效率基线。
- TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings
揭秘 TPU v4 的互联设计：芯片间 3D 环面（torus）电交换互连 + 光电路交换（OCS）可重构上联，一个 pod 4096 芯片。与 GPU 阵营的 fat-tree 加 NVLink 路线形成鲜明对照，OCS 允许在运行中切换拓扑以适配不同模型形状，代表了一种网络先于拓扑定义的系统设计哲学。
- MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs
字节跳动 12288 卡训练大模型的生产实践全记录：双平面胖树网络设计、把故障当作常态的容错体系（自动诊断、快速回滚、冗余专家）、通信/计算/数据加载全链路 profiling。把 MFU 推到 55% 以上，首次把「万卡训练」的完整工程 SOP 公开成论文。
- DeepSeek-V3 Technical Report
671B 参数（37B 激活）MoE，14.8T token 训练；首次大规模在生产 LLM 上跑通 FP8 训练 + Multi-Token Prediction，并把训练成本压到 $5.6M。震动整个行业。
- GLM-130B: An Open Bilingual Pre-trained Model
清华+智谱开放的中英双语 130B 模型，是中国大模型工业化最早的代表性技术报告。后续 ChatGLM-6B/9B 把开源中文对话推到普及量级。