AI Infra 架构设计面试专题（System Design for AI Infra）
4 大方法论与 3 个系统设计全景实战方案
专题定位：专为大模型预训练架构师、分布式推理平台负责人与具身智能 Infra 核心岗位打造的系统设计（System Design）实战专题。
AI Infra 系统设计四步通关法
不同于传统互联网基于微服务（RPC、MySQL、Redis、Kafka）的业务系统设计，AI Infra 的系统设计本质是“以计算核心与网络总线物理极限为约束”的硬件协同系统工程。
在面对任何宏观系统设计题时，严格按照以下四步框架展开，能够展现出无懈可击的技术成熟度：
1 · 需求与容量估算
参数量、显存（16Φ + 激活）、GPU 数量；明确 TTFT、TPOT 等 SLO
2 · 硬件拓扑
机内 NVLink 域与跨机 RoCE/IB；多轨（rail）对齐减少跨交换机流量
3 · 并行切分与重叠
组合 DP/ZeRO、TP、SP、PP、EP；安排通信与计算重叠
4 · 容错与运维
按 Young/Daly 公式选择 checkpoint 周期；内存快照、坏卡隔离、热备替换
- 步骤 1：需求拆解与物理边界估算（Capacity & Bound Estimation）
- 估算模型参数 、静态显存（）与动态激活值；
- 依据目标 Token 吞吐与硬件峰值算力，推导集群所需 GPU 总张数与理论训练天数；
- 明确关键 SLO/SLA 指标（如训练集群有效运行时间率 、推理首包延迟 、生成间隔 ）。
- 步骤 2：硬件拓扑与设备网格编排（Hardware Topology & Rail-Alignment）
- 依据 NVLink 域（单机 8 卡 ）与跨节点 RDMA 域（InfiniBand / RoCE v2 ）的带宽阶梯分布，设计物理拓扑；
- 制定 Rail-Optimized（导轨对齐）网络架构，消灭跨 TOR 交换机拥塞。
- 步骤 3：并行切分与计算通信重叠流水（Parallelism & Overlap Pipeline）
- 组合数据并行（DP/ZeRO）、张量并行（TP）、序列并行（SP）、流水线并行（PP）与专家并行（EP）；
- 设计异步非阻塞通信图，使得张量通信完全隐藏在计算核心的 GEMM 窗口内部。
- 步骤 4：容错自愈与高可靠监控运维（Resilience, Fault Tolerance & Diagnostics）
- 基于 Daly 公式推导最优 Checkpointing 保存周期，权衡故障浪费时间与写盘开销；
- 设计坏卡隔离、In-memory 快速恢复与分布式健康心跳探测机制。
系统设计实战方案目录
| 专题编号 | 系统设计实战题目 | 核心考察技能与技术突破点 | 对标案例 |
|---|---|---|---|
| Case 01 | 万卡千亿/万亿 MoE 超大规模预训练平台设计 | 万卡 8-Rail RoCE 拓扑、DeepEP 节点限制 All-to-All、Dual-Pipe 流水、Daly 容错 | DeepSeek-V3 / LLaMA-3 万卡训练集群 |
| Case 02 | 高并发低时延分布式 LLM / VLA 推理服务集群设计 | PD 分离架构、RDMA 零拷贝 KV Cache 迁移、RadixTree 前缀复用、具身双缓冲流式调度 | vLLM V1 / SGLang / 具身端侧引擎 |
| Case 03 | 规模化具身车队遥操作数据飞轮与持续学习系统 | 边缘高熵临界轨迹挖掘、GPUDirect Storage 零拷贝进显存、Sim-to-Real 混合强化学习流水线 | 特斯拉 FSD 数据飞轮 / 具身机器人车队 |
系统设计面试考察维度与评分基准
在 AI Infra 领域的技术面试中，评委通常依据以下三个层级进行定级评定：
- Junior / 准入线（P6 / L4）：能够复述常见的并行模式定义（DP/TP/PP），知道通信使用 NCCL，能算出基础显存大小，但缺乏拓扑概念与非均质场景设计能力；
- Senior / 资深线（P7 / L5）：能够熟练推导通信量与网络延迟模型，能够给出合理的 5D 并行切分方案，具备明确的 Rail-Optimized 拓扑意识，能考虑 Checkpoint 恢复代价；
- Staff / 架构师线（P8 / L6+）：能从底层硬件微架构和物理边界出发推导方案极限；能够敏锐指出经典方案在特殊场景下的失效条件（如非均匀流水线气泡雪崩、跨 Mesh 张量重排维度失配、PD 分离中的带宽饱和瓶颈），并给出具备工业实操可行性的自愈与创新优化策略。