第 20 课：FP8 训练工程配方：E4M3/E5M2 分工、延迟缩放与细粒度分块实战
本课目标与通过标准
本课产出：掌握万亿 Token 工业级模型在 Hopper / Blackwell 等现代硬件上采用 FP8（8 位浮点数）进行端到端低精度预训练 的全套工程配方与数值防护边界。深入理解两种原生微格式 E4M3 与 E5M2 在前向（Forward）与反向（Backward）中的分工逻辑；掌握动态缩放的演进——从传统 Delayed Scaling（基于 Amax 历史窗口推迟缩放） 到以 DeepSeek-V3 为代表的 Current Scaling（在线细粒度分块量化）；明确哪些关键算子必须死锁高精度（FP32 / BF16）；掌握 FP8 权重 All-Gather 节省 通信带宽的系统机制。
通过要求：唯一代码填空题通过全部断言；Q1～Q3 沿 IEEE 浮点编码结构、动态范围（Dynamic Range）与跨卡通信带宽给出因果链；能指出一个正确性不变量、一个下溢梯度消失边界和一个 GEMM Tile 分块对齐规则；总分至少 8/10。
源码版本与阅读方法
本课程使用固定 commit 的永久链接保证行号可复现，同时链接 current docs 供核对最新变化。阅读时先建立“动态范围与精度的物理取舍”心智模型：
| 顺序 | 核心文件与模块 | 带着什么问题读 |
|---|---|---|
| 1 | Transformer Engine transformer_engine/pytorch/fp8.py |
Delayed Scaling 是如何维护历史 Amax 窗口并推导下一步缩放因子 Scale 的？ |
| 2 | torchao torchao/float8/float8_linear.py |
PyTorch 原生 Float8Linear 是如何拦截前向与反向张量并执行动态类型转换的？ |
| 3 | DeepSeek-V3 架构报告第 3.2 节 | 细粒度分块缩放（Tile Scaling: 激活 , 权重 ）为什么能彻底消灭溢出？ |
| 4 | DeepGEMM 仓库 deepseek-ai/DeepGEMM（FP8 GEMM kernel） |
Hopper Tensor Core 的 WGMMA 与 TMA 在 FP8 下的硬件累加器精度选择？ |
版本基准：论文 FP8 Formats arXiv:2209.05433、Scaling FP8 arXiv:2409.12517、DeepSeek-V3 arXiv:2412.19437；实现参考 NVIDIA/TransformerEngine、pytorch/ao。
🔒 VIP 专享：本课核心机制、推导、代码题与参考答案已锁定
本课剩余部分（核心心智模型、数值推导、代码填空题、问答题与完整参考答案）为 VIP 内容。同一张密钥可解锁全部 VIP 内容：题库、速查表、系统设计案例与全部付费课程。