第 18 课：MoE 超大规模训练：负载均衡、Aux-loss-free 偏置调节与 EPLB 动态热点专家复制
本课目标与通过标准
本课产出：掌握万亿参数 Mixture-of-Experts（MoE）模型在超大规模集群训练中的核心稳定性控制、负载均衡调度与通信瓶颈优化。理解专家表征坍缩（Expert Collapse）与掉队者瓶颈（Straggler Problem）的深层机理；掌握传统 Auxiliary Loss 的质量妥协局限，深入分析 DeepSeek-V3 的 无辅助损失动态路由偏置（Aux-loss-free Routing Bias） 调节机制；掌握从 Token Drop 到 Dropless（Grouped GEMM）的架构跃迁；掌握 EPLB（Expert Parallelism Load Balancer） 动态热点专家复制与多微批次计算重叠（DualPipe）原理。
通过要求：唯一代码填空题通过全部断言；Q1～Q3 沿真实的 Token 路由概率分布、偏置动量更新公式与跨节点 All-to-All 集合通信给出因果链；能指出一个正确性不变量、一个数值震荡边界和一个显存复制代价；总分至少 8/10。
源码版本与阅读方法
本课程使用固定 commit 的永久链接保证行号可复现，同时链接 current docs 供核对最新变化。阅读时先建立路由网络（Gating Network）与专家物理分片（EP Mesh）解耦的心智模型：
| 顺序 | 核心文件与模块 | 带着什么问题读 |
|---|---|---|
| 1 | DeepSeek-V3 仓库 deepseek-ai/DeepSeek-V3 的 inference/（含 MoE 路由） |
路由偏置 是如何在不引入任何梯度反向传播的前提下自适应拉平专家负载的？ |
| 2 | DeepSeek deepseek-ai/EPLB：eplb.py |
EPLB 是如何根据历史统计将超热专家动态复制到多个 GPU 上打散负载的？ |
| 3 | DeepEP 仓库 deepseek-ai/DeepEP 的 csrc/（dispatch / combine kernel） |
跨节点低延迟 All-to-All 通信如何与 Grouped GEMM 计算流深度重叠？ |
| 4 | Megatron-LM megatron/core/transformer/moe/router.py |
传统的 Auxiliary Loss、Router z-loss 与 Capacity Factor 在代码中是如何实现的？ |
版本基准：论文 DeepSeek-V3 arXiv:2412.19437、Aux-loss-free arXiv:2408.15664；实现参考 deepseek-ai/EPLB、deepseek-ai/DeepEP。
🔒 VIP 专享：本课核心机制、推导、代码题与参考答案已锁定
本课剩余部分（核心心智模型、数值推导、代码填空题、问答题与完整参考答案）为 VIP 内容。同一张密钥可解锁全部 VIP 内容：题库、速查表、系统设计案例与全部付费课程。