Module 03: 大模型分布式训练 Infra

涵盖 3D 并行决策、ZeRO-1/2/3、DualPipe 双向流水、Zero-bubble、NCCL 通信量推导与 DeepEP 等 33 道架构真题全解

千卡与万卡集群超大规模分布式预训练系统的显存精算、通信拓扑与气泡消除工程

模块导读：本模块共 33 道 高频面试题。前 2 题为公开免费样题（含完整题目描述与参考解答）；第 3 题起的 31 道题目描述全部公开（见下方完整题目列表），答案在构建时加密，凭卡密在浏览器端解密后查阅。

Q1：算法和 Infra 工作有什么不同？侧重点分别是什么？

Tip💡 核心参考解答（公开试读样题）

算法侧重模型结构设计、损失函数、训练策略与收敛效果；Infra 侧重算力利用率 (MFU)、通信优化、显存管理、系统稳定性和端到端吞吐量。

Q2：AI Infra 领域有哪些正在做的前沿技术或方向？

Tip💡 核心参考解答（公开试读样题）
  1. 长序列并行 (Context Parallelism, Ring Attention)；2. MoE/多模态的高效路由与通信；3. Prefill-Decode 分离架构与 KV Cache 统一池化 (如 Mooncake)；4. 投机解码 (Speculative Decoding) 与系统协同设计；5. 细粒度流水线调度 (Zero-bubble, DualPipe)。

本模块完整题目列表

以下为本模块全部 33 道题目。Q1–Q2 答案公开免费试读，Q3 起的答案需凭卡密解锁（题目描述本身全部公开）。

  1. 算法和 Infra 工作有什么不同？侧重点分别是什么？（免费）
  2. AI Infra 领域有哪些正在做的前沿技术或方向？（免费）
  3. 介绍 DP, TP, PP, EP 各自是什么？
  4. 如何设计模型训练的 3D 并行？
  5. 大模型的一层 Transformer 有几个线性层？张量并行 (TP) 时是怎么切分的？这样做的原因是什么？有什么思路优化中间的 All-Reduce 吗？
  6. 张量并行 (TP) 中 All-Reduce 的次数是多少？
  7. 张量并行 (TP) 中 Row Parallel (行切) 和 Column Parallel (列切) 的区别是什么？
  8. 序列并行 (Sequence Parallelism) 的原理、通信开销以及继续优化的手段有哪些？
  9. Megatron SP (Sequence Parallel) 的实现方式是什么？
  10. 专家并行 (EP) 的 dispatch 和 combine 机制。
  11. DP、TP、SP 的计算通信重叠原理是什么？具体是什么通信和什么计算重叠？
  12. 流水线并行 (PP) 中 Zero-bubble 的调度原理是什么？
  13. DualPipe 原理是什么？
  14. 使用流水线并行和不使用 PP 并行，显存峰值一样吗？
  15. 训练超长序列 (Long Sequence) 时如何设计并行？
  16. 给定训练 Tokens，如何估计模型训练所需的完整时间？
  17. 3D 并行下的显存占用如何估计？
  18. NCCL 中的通信原语有哪些？
  19. All-Reduce 更新一次参数需要几次通信？具体是怎么计算的？
  20. 说一下 Reduce-Scatter 和 All-to-All 通信。
  21. Megatron-LM 中的通信优化怎么做？
  22. DeepSpeed ZeRO Stage 1 和 Stage 2 的通信量分析。
  23. 4 机 32 卡 H200 训练，从 FSDP (Fully Sharded Data Parallel) 换成 HSDP (Hybrid Sharded)，通信时间会减少多少？
  24. FSDP1 和 FSDP2 的区别是什么？
  25. 小数据量场景下，NVSHMEM（直接读远端显存 + 本地 Reduce）相比 Ring All-Reduce 的好处是什么？
  26. 考察 DMA 和 RDMA。
  27. 解释下 DeepEP。
  28. MoE 模型和多模态模型训练有哪些通信优化点？
  29. 如何优化模型训练中的访存？
  30. 训练稳定性、容错方面的工作有哪些？
  31. 大模型预训练和强化学习 (RL) 训练在工程上还有哪些可优化的点？
  32. 异步 RL 训练对损失函数的修正方法。
  33. RL 异步调度有哪些？优缺点是什么？RL 异步调度算法上需要做哪些改进？
<div class="vip-lock-badge">🔒 VIP 专享核心题库·进阶真题全量加密</div>
<h3 class="vip-module-lock-title">后续 31 道大厂核心真题与手撕源码已锁定</h3>
<p class="vip-module-lock-desc">
  本模块第 3 题起的参考解答（追问细节、白板推导与手撕 Kernel 实现）在构建时加密，凭卡密在浏览器端解密后查阅。上方已公开全部题目列表。
</p>
<div class="vip-module-features">
  <div class="vip-feat-item">✓ 后续 31 道题目的完整参考解答</div>
  <div class="vip-feat-item">✓ 大厂追问细节与白板推导心法</div>
  <div class="vip-feat-item">✓ 手撕 CUDA / Triton Kernel 源码</div>
  <div class="vip-feat-item">✓ 微店自助下单，或闲鱼人工发卡</div>
</div>
<div class="vip-lock-actions">
  <button class="vip-btn vip-btn-primary vip-btn-lg" onclick="window.hpcVip.openModal()">🔑 输入密钥立即解锁后续全部 31 题</button>
  <a href="https://weidian.com/item.html?itemID=7884224812&utm_source=hpclearning&utm_medium=vip_card&utm_campaign=vip_card" target="_blank" class="vip-btn vip-btn-outline vip-btn-lg">🛒 微店下单获取卡密</a>
</div>