HPC / AI Infra 面试课程

CUDA/Triton 算子、编译器、训练与推理系统、集群平台与性能诊断（参考答案版）

  • 面试备战：备战大厂 AI Infra 与算子面试时常面临真题零散、缺乏底层推导与手撕源码的痛点？可直接查阅涵盖 8 大模块、197 道大厂真题全解的 AI Infra / HPC 核心高频面试题库。
  • 工具充值：高频使用 Codex、Claude 等海外 AI 编程工具与 API 时常遭遇国内信用卡无法支付与账号风控痛点？推荐选用支持国内快捷支付与正规质保通道的 payai.top（综合首选）与 payai.win（高性价比优选）。
Note课程定位与使用原则
  • 本版本为 参考答案版：包含全部 124 节课的代码实现与问答题参考解析。
  • 逐课通关机制：按模块编号依次学习，建议独立完成代码填空与问答后再展开核对。
  • 评分标准：代码填空 4 分、问答题 Q1～Q3 各 2 分，通过线为 8/10 分。回答要说明正确性边界和公式中的单位、分片维度；没有实际运行的代码只能标注为“静态审查”。

推荐学习路径

课程顺序是：单卡算子 → 硬件微架构与编译器 → 框架运行时与集群系统 → 性能归因与状态审计。

阶段 1 · 显存账本与核心算子

训练系统 1~5 课 → CUDA（17 课）→ Triton（10 课）

阶段 2 · 微架构与编译器

CUTLASS / CuTe（8 课）→ MLIR（8 课）

阶段 3 · 运行时与系统

框架运行时（11 课）→ 推理引擎（18 课）→ 集群平台（8 课）

阶段 4 · 大规模并行与后训练

训练系统 6~21 课 → 强化学习（18 课）

阶段 5 · 性能剖析与状态审计

Nsight、NCCL 死锁、数值异常、不变量审计（5 课）

图 0-1：推荐学习路径（五个阶段，各模块内容见下表）

课程体系大纲（按推荐学习路径排序）

第一阶段：分布式显存初探与核心算子开发

排序 课程模块 课数 核心技能与产出 前置条件
01 训练系统基础篇 (Train 1~5) 5 建立大模型静态显存与激活账本，掌握激活重计算与分布式通信原语，理解 DDP 与 ZeRO-1/2/3 切分机制 Transformer 架构与基础 PyTorch
02 CUDA Kernel 算子开发 17 掌握 GPU 线程块映射、Warp Shuffle 归约、Online Softmax、Tiled GEMM 共享内存分块，深入拆解 DeepSeek DeepGEMM/DeepEP，并实战具身 Flow Matching 求解器、3D 点云体素化与 QAT 伪量化 C/C++、线性代数、并行计算基础
03 Triton Kernel 算子开发 10 掌握 Pythonic SPMD 编程模型、Block 级指针代数、Fused Softmax、Matmul 与 Program ID 超分组 Swizzling Python、PyTorch、基础 CUDA 概念

第二阶段：硬件微架构抽象与编译优化技术

排序 课程模块 课数 核心技能与产出 前置条件
04 CUTLASS / CuTe 模板库 8 掌握 CuTe Layout 坐标映射代数、Tiled Copy / Tiled MMA 硬件抽象、Ampere/Hopper 异步拷贝流水线与 Kernel 选型 CUDA 线程模型、C++ 模板元编程
05 MLIR 编译器技术 8 掌握多级中间表示（Multi-Level IR）、SSA 支配树、Dialect 方言体系、ODS 定义、Pattern 重写与 GPU/LLVM 逐级 Lowering 编译原理基础、C++ 源码阅读能力

第三阶段：AI Infra 运行时与端到端系统工程

排序 课程模块 课数 核心技能与产出 前置条件
06 框架运行时底层机制 11 深入剖析 PyTorch Dispatcher 分发器、TorchDynamo/Inductor 编译追踪、NCCL 环形/树形通信底层、GPUDirect Storage 零拷贝 DMA、CUDA IPC 防泄漏与动态形状 Guard 抑制 Python、PyTorch 源码、CUDA 基础
07 推理引擎源码与优化 11 逐行走读 vLLM V1 三层解耦架构与 SGLang 核心源码，掌握 PagedAttention、RadixAttention 缓存复用、TensorRT 10+ IPluginV3 插件生命周期、具身连续动作流式引擎与端侧混合精度部署 训练基础、CUDA/Triton、Transformer 架构
08 智算集群平台与可靠性 8 掌握智算中心 Spine-Leaf 网络拓扑、RoCE v2 / InfiniBand RDMA 无损网络、GPUDirect Storage 分级存储、K8s 拓扑感知调度与 Daly 最优 Checkpoint 容错模型 Linux 网络/系统运维基础、分布式训练经验

第四阶段：超大规模分布式并行与对齐算法进阶

排序 课程模块 课数 核心技能与产出 前置条件
09 训练系统实战进阶 (Train 6~16) 11 深入掌握张量并行（TP）、序列并行（SP）、上下文并行（CP）、流水线并行（PP）、专家并行（EP）与 5D 并行协同，精通具身 VLA 双网格解耦（Cross-Mesh Resharding）通信拓扑与非均质阶段 1F1B 流水线气泡消除 训练系统 1~5 课、算子开发基础
10 强化学习与大模型后训练 14 从 MDP、Bellman 方程、策略梯度定理与 GAE 出发，掌握 PPO、RLHF/RLVR 到 DeepSeek GRPO 组内相对奖励机制，进阶掌握物理连续动作高斯/Beta 策略与真机-仿真混合回传飞轮 概率论与数理统计、深度学习基础

第五阶段：底层不变量控制与状态审计实战

排序 课程模块 课数 核心技能与产出 前置条件
11 AI 系统性能剖析、死锁诊断与状态审计 5 用 Nsight Systems 找 Timeline 气泡、用 Nsight Compute 做微架构瓶颈归因、定位 NCCL 通信死锁、排查 FP8/BF16 数值异常，为 Code Agent 生成的代码建立底层不变量审计 全课程前置知识综合运用

🎯 面试备战进阶与系统设计专栏

面向面试白板推导和架构设计题的冲刺材料：

专项板块 核心技能与定位 建议使用时机
💡 面试核心公式与推导速查表 (The Ultimate Cheatsheet) 涵盖显存账本（静态/动态/ZeRO-1/2/3）、通信原语带宽模型、MFU/HFU 精算、KV Cache 容量、Roofline 硬件拐点与流水线气泡的一页纸白板推导速记 面试前候场 60 秒极速复习与白板算账必背
🏗️ AI Infra 高频系统设计专题 (System Design) 包含四步标准化推导方法论，提供 3 个全景设计案例（万卡千亿 MoE 预训练平台、高并发低延迟 PD 分离推理集群、具身车队数据飞轮与持续后训练） 冲刺 P7+ 资深工程师、技术专家与架构师岗位
🎁 面试真题题库 (微店 / 闲鱼: archer中了箭) 一线大厂 CUDA 算子开发、HPC 通信调优、大模型预训练与推理引擎高频真题与解析（微店自助下单或闲鱼人工发卡获取卡密） 备战大厂 Offer、手撕 Kernel 与面试复习