集群平台、网络存储与可靠性

8 课 AI 智算中心集群架构、网络拓扑与调度系统

集群平台核心线

面向工业界千卡/万卡 AI 智算集群建设，深入分析硬件拓扑、高速互连网络（InfiniBand/RoCE）、分布式存储 IO、容器虚拟化与超大规模调度。

学习目标

  1. 掌握 GPU 服务器内部 NUMA、PCIe 交换、NVLink 与 NIC NUMA 亲和性；

  2. 理解 InfiniBand 与 RoCE v2 协议栈、PFC/ECN 流控与 GPUDirect RDMA；

  3. 掌握分布式存储三级缓存架构与 Checkpoint 秒级快照带宽预算；

  4. 掌握 Gang Scheduling、拓扑感知放置（Topology-Aware Placement）与故障自愈设计。

课程目录

课程名称 模块归属
第 1 课：GPU 节点拓扑：NUMA、PCIe、NVLink 与 NIC 亲和性 集群平台、网络存储与可靠性
第 2 课：InfiniBand、RoCE、RDMA 与 GPUDirect 数据路径 集群平台、网络存储与可靠性
第 3 课：存储层级、数据集与 Checkpoint 带宽 集群平台、网络存储与可靠性
第 4 课：容器、驱动、Device Plugin 与升级兼容性 集群平台、网络存储与可靠性
第 5 课：Gang Scheduling 与拓扑感知放置 集群平台、网络存储与可靠性
第 6 课：容量、配额、公平与 Backfill 集群平台、网络存储与可靠性
第 7 课：Metrics、Logs、Traces 与 SLO Burn Rate 集群平台、网络存储与可靠性
第 8 课：故障恢复、Checkpoint 间隔与多租户事故设计 集群平台、网络存储与可靠性

补充审核指南

AI Infra 学习路线思维导图 2026：从岗位选择到可交付项目
主线：先建立 GPU/模型/推理引擎共同语言，再按端侧、云端、算子、框架、算法加速选择深入方向
一、先选岗位方向
端侧推理
llama.cpp / MLC / ONNX Runtime
NPU/GPU/CPU 混合
内存、电量、延迟优先
4bit/8bit 量化和 KV 压缩
云端推理
vLLM / SGLang / TensorRT-LLM
多 GPU serving
吞吐、TTFT、ITL、SLO
容器、调度、观测
算子方向
CUDA/HIP/Triton/CUTLASS
matmul、softmax、norm、MoE
profile -> bottleneck -> optimize
读懂 Nsight / rocprof
框架方向
PyTorch compiler / Triton
图优化、kernel fusion
runtime scheduler
KV cache manager
算法加速方向
FlashAttention、speculative decoding、quantization、sparse/long-context attention、MoE routing。
重点是能解释：省了什么资源、引入什么误差或调度成本、什么时候不适用。
面试判断标准
不要只背名词。每个技术点都按四句话回答：
它解决什么瓶颈 -> 用什么数据结构/算子/调度 -> 代价是什么 -> 哪些场景收益最大。
二、通用底座：所有岗位都要会
GPU 编程体系
thread/block/grid 或 wavefront
HBM/SMEM/register/cache
coalescing、bank conflict
occupancy、latency hiding
异步拷贝和 barrier
大模型结构
Transformer block
MHA/MQA/GQA、RoPE
SwiGLU、RMSNorm
MoE router/top-k/expert FFN
KV cache 生命周期
AI Infra 核心能力
GPU 体系 + 大模型结构
算子优化 + 推理引擎
分布式并行 + 工程落地
架构演进怎么学
按代际理解硬件给软件的新能力：Ampere 异步拷贝，Hopper TMA/WGMMA，Blackwell TMEM/更深异步流水；AMD 侧理解 ROCm、HIP、Matrix Core、RCCL。
目标不是背参数，而是能说明某个优化为什么依赖某代硬件。
算子学习阶梯
vector add -> reduce
transpose -> GEMM
layernorm / rmsnorm
softmax / attention
MoE dispatch + grouped GEMM
写 baseline、profile、优化
工具链
PyTorch eager/compile
Triton kernel
CUDA/HIP/ROCm 基础
CUTLASS / CK / FlashInfer
Nsight Compute / Systems
rocprof / rocTracer
三、推理系统与分布式
推理引擎核心
prefill vs decode
continuous batching
paged KV cache
prefix cache / radix cache
chunked prefill
OpenAI-compatible server
并行策略
TP：切矩阵和 attention head
PP：切 layer + microbatch
DP：副本和调度
EP：expert 分片 + all-to-all
CP/SP：长序列切分
常见加速手段
FlashAttention v1-v4
speculative decoding
FP8/INT8/INT4/AWQ/GPTQ
KV cache quant/offload
CUDA Graph / compile
structured output 加速
生产工程
benchmark: TTFT/ITL/TPS
压测和容量规划
多租户、限流、队列
模型热加载、LoRA serving
日志、trace、监控、告警
vLLM / SGLang / TensorRT-LLM 怎么讲
vLLM：PagedAttention 和 hash-based prefix cache 管 KV block。
SGLang：RadixAttention 适合多轮、分支、agentic generation 的 prefix 复用。
TensorRT-LLM：NVIDIA 侧优化 toolkit，关注 paged attention、in-flight batching、quantization、plugins。
最终作品集建议
一份压测报告 + 一个算子优化 notebook + 一个 mini inference engine 设计文档 + 一个源码阅读笔记。比只刷八股更有说服力。
四、推荐学习顺序和项目闭环
1
第 1 阶段
GPU + 算子基础
写 vector add / reduce / matmul / softmax
会看带宽、FLOPs、occupancy
2
第 2 阶段
模型结构拆算子
手拆 Transformer / MoE forward
标出 GEMM、norm、attention、all-to-all
3
第 3 阶段
推理引擎复现
跑 vLLM/SGLang，测 TTFT/ITL/TPS
解释 paged attention / radix cache
4
第 4 阶段
优化一个瓶颈
Triton 写 fused RMSNorm/softmax
或调量化、spec decoding、prefix cache
5
第 5 阶段
分布式 serving
TP/PP/DP/EP 实验
NCCL/RCCL 通信 profile
6
第 6 阶段
岗位专项作品
端侧 demo 或云端压测报告
算子优化 PR 或 engine feature
资料基准：NVIDIA CUDA Programming Guide / TensorRT-LLM docs；vLLM docs；SGLang docs；Triton docs；AMD ROCm docs。建议每月刷一次目标岗位 JD，回填新的引擎功能和硬件代际。

AI Infra 学习路线 2026 Mindmap · Excalidraw 源文件

AI Infra 找工作导向学习路线 2026
从 JD 关键词反推能力树：选一个主赛道，做可证明性能收益的项目，而不是平均学所有名词
一、JD 高频关键词
低层性能
CUDA / HIP / Triton / Pallas / C++
GPU memory hierarchy、tiling、vectorization
Nsight / rocprof / perf profiling
推理引擎
vLLM、SGLang、TensorRT-LLM、TGI
PagedAttention、RadixAttention、prefix cache
continuous batching、chunked prefill
分布式与通信
TP / PP / DP / EP / CP
NCCL / RCCL、all-reduce、all-to-all
多 GPU / 多节点 correctness + scalability
生产部署
Docker / Kubernetes / Slurm
OpenAI-compatible API、gateway、routing
TTFT / ITL / TPS、Prometheus / Grafana / OTel
加分项
开源 PR、技术博客、复现实验
量化、speculative decoding、MoE kernel
非 NVIDIA 平台：ROCm / AMD / Ascend / TPU
二、按岗位选择主线
A. 算子 / Kernel
主学：GPU 架构 + Triton/CUDA/HIP
作品：fused RMSNorm / attention / MoE dispatch
面试：算带宽、占用率、访存模式
B. 推理引擎
主学：scheduler + KV cache + batching
作品：mini vLLM / SGLang 源码笔记
面试：prefill/decode、paged/radix cache
C. 云端 Serving
主学：K8s + routing + observability
作品：压测 vLLM/SGLang 服务
面试：SLO、限流、扩缩容、故障恢复
D. 分布式系统
主学：TP/PP/EP + NCCL/RCCL
作品：多卡推理 benchmark
面试：通信瓶颈、拓扑、all-to-all
E. 端侧推理
主学：llama.cpp / MLC / ONNX Runtime
作品：量化和延迟报告
面试：内存预算、功耗、首 token 延迟
F. 编译器 / 框架
主学：torch.compile / Inductor / MLIR
作品：算子融合或 lowering demo
面试：图优化、autotune、codegen
选主线建议
找工作时不要六条线平均用力。
最容易形成作品集的是：Kernel 或推理引擎。
有工程背景选云端 serving；有 HPC 背景选 kernel/分布式；只有消费级 AMD 卡也能做 ROCm/Triton/端侧路线。
求职目标
能解释系统瓶颈
能 profile 和优化
能产出 benchmark / PR / 文档
三、12 周求职路线：每两周有产出
Week 1-2
共同语言
Linux / Python / C++ 基础
Transformer/MoE 结构拆算子
GPU memory hierarchy + roofline
交付：一页模型算子分解图
Week 3-4
算子与 profile
Triton 或 CUDA/HIP 写 reduce、matmul、softmax、RMSNorm
用 Nsight 或 rocprof 找瓶颈
交付：baseline vs optimized 表格
Week 5-6
推理引擎
跑 vLLM 与 SGLang
理解 prefill/decode、KV cache、scheduler
读 PagedAttention/RadixAttention
交付：源码阅读笔记 + 流程图
Week 7-8
分布式与通信
TP/PP/DP/EP 的切分位置
NCCL/RCCL collective
MoE all-to-all 和负载均衡
交付：并行策略对比实验
Week 9-10
加速技术
FlashAttention、量化、speculative decoding
prefix cache、chunked prefill、CUDA Graph
端侧补 llama.cpp/MLC
交付：一个加速开关的压测报告
Week 11-12
投递准备
整理 GitHub README、benchmark 复现脚本
写技术博客和简历项目 bullet
刷 JD + 针对性补短板
交付：作品集主页 + 面试题清单
四、面向简历的项目作品集
项目 1：算子优化
实现 fused RMSNorm / SwiGLU / softmax / MoE dispatch
要求：正确性测试、profile 截图、不同 shape benchmark
简历写法：延迟降低 X%，带宽利用率提升 Y%
项目 2：mini 推理引擎
实现连续 batching + KV cache block manager
可简化模型，只要调度和缓存逻辑讲清楚
简历写法：支持 prefix reuse，TTFT/ITL 可观测
项目 3：生产压测
部署 vLLM 或 SGLang OpenAI API
压测不同 batch、context、并发和量化配置
简历写法：给出容量规划和瓶颈定位
项目 4：多 GPU / AMD 路线
NVIDIA：NCCL + TP/EP benchmark
AMD：ROCm/HIP/Triton/RCCL bring-up
简历写法：跨平台 correctness + performance 调优
项目 5：源码阅读文档
vLLM：PagedAttention / prefix cache
SGLang：RadixAttention / scheduler
TensorRT-LLM：plugins / quant / batching
面试时用图解释，不只背结论
面试回答模板：技术点是什么 -> 解决哪个瓶颈 -> 数据结构/算子/调度怎么做 -> tradeoff 是什么 -> 用什么指标证明有效。所有项目都按这个模板准备。
资料来源：OpenAI inference/AMD JD、RadixArk GPU Kernel JD、NVIDIA AI Inference JD、Red Hat distributed vLLM/Kubernetes JD、vLLM/SGLang/TensorRT-LLM/Triton/CUDA/ROCm 官方文档。

AI Infra 找工作导向学习路线 2026 · Excalidraw 源文件

NVIDIA AI Infra 面试考察地图：今天重点复习版
一、CUDA / Kernel 基础
线程映射
grid/block/warp
one block per row
访存优化
coalescing
smem / bank conflict
Reduce 模板
warp shuffle
block reduce
常写算子
softmax
layernorm
gemv/gemm
现场高频：写 row-wise softmax / layernorm；解释 O(N^2) 重复扫描；判断瓶颈是 memory-bound 还是 compute-bound。
岗位关键词：GPU kernel、LLM inference serving、TensorRT-LLM / Triton / Dynamo、分布式通信、性能诊断、系统 tradeoff
二、LLM Inference 栈
Prefill vs Decode
prefill compute-heavy
decode memory/latency-heavy
KV Cache
paged KV
reuse/offload
Batching
continuous / in-flight
tail latency
Optimizations
quantization
speculative decoding
custom attention
NVIDIA 语境优先讲 TensorRT-LLM：custom attention、in-flight batching、paged KV cache、FP8/FP4/INT4、spec decode。
三、分布式与部署
Parallelism
TP / PP / DP / EP
MoE routing
NCCL
all-reduce
all-gather
reduce-scatter
Serving System
Triton Server
NIM / TensorRT-LLM
Dynamo
disaggregated serving
smart routing
KV cache tiers
系统题常问：吞吐和延迟如何权衡；prefill/decode 分离为什么有效；多 GPU 通信如何影响 batch 和并发。
四、性能分析与 Debug
Nsight Systems
看端到端 timeline
CPU/GPU overlap
Nsight Compute
看单 kernel
SM/DRAM/L2/occupancy
Roofline
算术强度
瓶颈定位
指标解释
achieved occupancy
warp stall
memory throughput
优化动作
fuse kernels
减少 H2D/D2H
改 layout
验证
profile 前后对比
正确性测试
五、今天面试快问快答准备
1. 写代码
softmax / layernorm / reduce
讲线程映射和同步点
2. 讲系统
LLM serving 请求生命周期
prefill -> decode -> stream tokens
3. 讲 tradeoff
吞吐 vs 延迟
显存 vs 复用
编译优化 vs 灵活性
4. 讲工程
如何定位慢请求
如何设计 benchmark
如何灰度上线
临场回答模板：先定义目标和约束 -> 给出线程/系统映射 -> 判断瓶颈 -> 说明优化动作 -> 说验证指标。不要只背名词，要把 latency、throughput、memory footprint、correctness 连起来。

NVIDIA AI Infra 面试考察地图 · Excalidraw 源文件