AI Infra 面试必备：一页纸核心公式与推导速查表（The Ultimate Cheatsheet）

涵盖显存账本、通信量、MFU/HFU、KV Cache、Roofline 拐点与流水线气泡的一站式白板推导心法

定位说明：专为大厂 AI Infra、大模型系统、高性能算子与端侧部署面试打造的核心量化公式速查表。拒绝模糊死记硬背，全部公式附带“第一性原理推导”与“即查即用白板心法”。

核心公式速查全景图

六类核心推导

显存账本

$M_{\text{static}} = 16\Phi$（混合精度 + Adam）

激活 $\approx L\,sbh\,(34 + 5as/h)$

通信量

AllReduce：$2\frac{p-1}{p}K$

All-to-All：$\frac{p-1}{p}K$

算力利用率

$\text{FLOPs} \approx 6PT$

$\text{MFU} = \frac{6PT}{T_{\text{step}} \cdot N_{\text{gpu}} \cdot \text{Peak}}$

KV Cache

$M_{\text{kv}} = 2 \cdot n_{\text{layers}} \cdot n_{\text{kv}} \cdot d_{\text{head}} \cdot b \cdot s \cdot \text{bytes}$

Roofline 拐点

$I^* = \text{Peak FLOPS} / \text{Peak BW}$

A100 约 153，H100 约 295 FLOP/Byte

流水线气泡

1F1B：$\frac{p-1}{m}$

Interleaved（$v$ 个虚拟 stage）：$\frac{p-1}{v\,m}$

图 0-1：面试常用的六类推导公式

---

<div class="vip-lock-badge">🔒 VIP 专享核心资料·推导心法全量加密</div>
<h3 class="vip-module-lock-title">大模型显存账本/通信量/MFU/Roofline 六大推导心法已锁定</h3>
<p class="vip-module-lock-desc">
  包含大模型静态显存精算（二四十六口诀）、ZeRO-1/2/3 渐进极限、动态激活值显存、Ring All-Reduce 通信量推导、Roofline 硬件拐点精算与 60 秒极速通关口诀。
</p>
<div class="vip-module-features">
  <div class="vip-feat-item">✓ 六大核心支柱第一性原理推导公式</div>
  <div class="vip-feat-item">✓ A100/H100 硬件物理拐点即查即用</div>
  <div class="vip-feat-item">✓ 面试白板推导 60 秒极速心算口诀</div>
  <div class="vip-feat-item">✓ 微店自助下单，或闲鱼人工发卡</div>
</div>
<div class="vip-lock-actions">
  <button class="vip-btn vip-btn-primary vip-btn-lg" onclick="window.hpcVip.openModal()">🔑 输入密钥立即解锁完整推导速查</button>
  <a href="https://weidian.com/item.html?itemID=7884224812&utm_source=hpclearning&utm_medium=vip_card&utm_campaign=vip_card" target="_blank" class="vip-btn vip-btn-outline vip-btn-lg">🛒 微店下单获取卡密</a>
</div>

---

🎁 配套推荐：197 题 HPC & AI Infra 核心高频真题题库（全解版）

Tip🚀 斩获一线大厂高薪 Offer 必备：独家面试题库与手撕 Kernel 源码全解

专栏配套的 AI Infra / HPC 核心高频面试题库 涵盖 8 大模块、197 道大厂高频真题与手撕 Kernel 实现：

• 🔥 八大核心实战模块：
  1. 01. CUDA 与 GPU 硬件基础 (27题)：SM 微架构、Warp 原语、Bank Conflict、Occupancy、TMA、Unified Memory、CUDA Graph；
  2. 02. 算子开发与优化 (33题)：Triton/CuTe 抽象、GEMM Tiling、Double Buffering、FlashAttention、Online Softmax 手撕；
  3. 03. 分布式训练 Infra (33题)：3D 并行切分、ZeRO-1/2/3、DualPipe、Zero-bubble、NCCL 通信量推导、DeepEP；
  4. 04. 推理 Infra 与框架 (33题)：vLLM PagedAttention、Continuous Batching、PD 分离 (Mooncake)、投机解码、FP8 量化；
  5. 05. 大模型算法与架构 (23题)：RoPE 推导、FlashDecoding、MLA 矩阵吸收、DeepSeek-V3 架构拆解、MoE 动态路由；
  6. 06. Diffusion 与多模态 (11题)：DiT 推理加速、Flow Matching 速度场、Score Matching、Feature Cache、LoRA 手撕；
  7. 07. C++/Python 系统编程 (9题)：C++20 协程、内存模型、Python GIL 机制、IPC 通信、PyTorch 底层张量连续性；
  8. 08. 核心算法题与数据结构 (28题)：算子手撕、Bitonic 并行排序、图算融合、LRU、单调栈与高维动态规划。

---

🛒 卡密获取与解锁流程

本题库每章节均提供 1~2 题答案免费试读，题目描述全部公开。后续题目的参考答案与手撕 CUDA / Triton Kernel 源码在构建时加密，浏览器端凭卡密解密后查阅。在微店下单（或在闲鱼人工发卡）即可获得卡密，解锁全站答案。

💎 大厂真题题库 ¥68 🔑 微店下单即发卡密 🔄 新增题目免费同步

方式一：微店（自助下单）

• 商品直达：👉 打开微店商品页（支持微信 / 支付宝）
• 官方店铺：🏬 微店：archer中了箭
• 包含内容：
  • 197 道大厂高频真题：各厂校招/社招高频题，全模块参考答案与踩坑说明；
  • 核心算子白板手撕：FlashAttention v1/v2/v3 演进、GEMM Double Buffering 与 Tensor Core 优化；
  • 显存与系统白板量化：ZeRO 1/2/3 显存模型推导、通信量公式计算、Megatron-LM 架构实战；
  • 前沿推理引擎剖析：vLLM PagedAttention 原理、DeepSeek MLA 多头吸收推演；
  • 发卡方式：付款后在微店订单页与私信收到卡密和解锁链接。

微信 / 浏览器 / 支付宝 扫码直达微店商品下单

方式二：闲鱼（人工发卡 & 答疑）

• 店主：archer中了箭
• 进店：打开 闲鱼 App 搜索 archer中了箭（或 archer中了箭 cuda）；
• 说明：私信下单由店主人工发卡，可顺带做一对一答疑与 AI Infra 简历交流。

Tip🔑 发卡消息与解锁示例

在微店下单后，会收到类似如下的卡密与解锁链接：

感谢支持 HPC & AI Infra 面试课程
你的解锁卡密为：HPC-VIP-XXXX-XXXX-XXXX
在线解锁地址：https://hsthanb4.github.io/hpclearning/interview/?key=HPC-VIP-XXXX-XXXX-XXXX

您只需在浏览器打开上述专属链接，即可一键自动解锁全站参考答案与源码。也可以在任意面试页面右上角点击【输入解锁密钥】手动粘贴。

💡 密钥解锁机制说明：
获取卡密后，在任意面试题页面点击 【🔑 输入密钥解锁】 粘贴即可；或者直接在浏览器访问 https://hsthanb4.github.io/hpclearning/interview/?key=你的卡密，即可解锁全站答案，解锁状态保存在浏览器本地。

← 上一课
第 5 课：Code Agent 时代底层不… 下一课 →
AI Infra 架构设计面试专题（Sy…