Module 04: 大模型推理 Infra 与框架

涵盖 vLLM 架构、PagedAttention、KV Cache 量化、Chunked Prefill、PD 分离与推测解码等 33 道系统真题全解

高并发、极致低时延与大吞吐生产级 LLM 推理引擎源码拆解与显存管理体系

模块导读：本模块共 33 道 高频面试题。前 2 题为公开免费样题（含完整题目描述与参考解答）；第 3 题起的 31 道题目描述全部公开（见下方完整题目列表），答案在构建时加密，凭卡密在浏览器端解密后查阅。

Q1：在项目中用过哪些推理框架？llama.cpp 了解吗？详细说说它的特点。

Tip💡 核心参考解答（公开试读样题）

常用框架：vLLM, TensorRT-LLM, SGLang, TGI。

llama.cpp 特点：主要用于 CPU 或低端设备上的本地推理。不依赖沉重的深度学习框架（如 PyTorch），用纯 C/C++ 编写，极致轻量；支持极高压缩比的量化（如 GGUF 格式的 4-bit 量化），让消费级硬件也能跑大模型。

Q2：vLLM 相比传统推理框架有什么优势？最近有什么新的比较好的特性？

Tip💡 核心参考解答（公开试读样题）

核心优势：引入了 PagedAttention，消除了显存碎片，大幅提升了并发吞吐量 (Batch Size)；支持 Continuous Batching。

新特性：Chunked Prefill、Prefix Caching、支持多模态推理、支持 Speculative Decoding (投机解码)、以及针对新硬件的内核优化 (如 Triton/FlashInfer 集成)。

本模块完整题目列表

以下为本模块全部 33 道题目。Q1–Q2 答案公开免费试读，Q3 起的答案需凭卡密解锁（题目描述本身全部公开）。

  1. 在项目中用过哪些推理框架？llama.cpp 了解吗？详细说说它的特点。（免费）
  2. vLLM 相比传统推理框架有什么优势？最近有什么新的比较好的特性？（免费）
  3. vLLM 中的 PagedAttention 机制是怎么工作的？解决了什么问题？
  4. vLLM 的连续批处理 (Continuous Batching) 和 Prefix Caching 原理是什么？
  5. 聊一下 Chunked Prefill，它是为了解决什么问题而提出的？
  6. vLLM 中如何实现 Beam Search？
  7. SGLang 中的 RadixAttention 原理是什么？
  8. 有没有听说过 Dynamic Batching？
  9. 大模型推理的 Prefill 和 Decode 阶段各有什么优化技术？
  10. 结合 Roofline 模型讲解 Prefill 和 Decode 阶段的性能瓶颈。Prefill 阶段一定是 Compute Bound 吗？Decode 阶段一定是 Memory Bound 吗？
  11. KV Cache 的原理是什么？在推理中起什么作用？大小如何计算？
  12. KV Cache 的离线计算与非常用 KV Cache 的卸载和加载如何实现？还有什么 KV Cache 优化的相关 tricks？
  13. 详细讲讲 Prefill-Decode (PD) 分离架构。
  14. 多机 PD 分离会有 KV Cache 传输开销，为什么还要做？
  15. 有没有了解过 AF (Attention-Feedforward) 分离？它是为了解决什么问题？既然有 PD 分离了，为什么还要 AF 分离？
  16. 介绍 Mooncake 这种 KV-Cache Centric 的 PD 分离架构。
  17. 介绍 dLLM，如何看待它和自回归 (Auto-regressive) 的区别？
  18. 什么是投机解码 (Speculative Decoding)？介绍 Lookahead, N-gram, Medusa, Eagle 等投机解码方法。
  19. 投机采样的加速比分析公式是怎样的？
  20. 什么是 Two-Batch Overlap？什么场景下它是负优化？
  21. 场景题：一个大集群中节点内有 NVLink，节点间部分机器有 RDMA，怎么去设计分布式推理方案？
  22. 对 DeepSeek 671B 模型进行推理时，是如何做算力分配和负载均衡的？
  23. FP8 量化是什么
  24. 大模型推理中的量化技术了解吗？常见的量化方法有哪些？(如 LLM.int8(), SmoothQuant, AWQ, GPTQ 等)
  25. 对称量化和非对称量化的区别是什么？
  26. 为什么选择 INT8 量化？A100 和 H100 对不同量化类型的支持有何差异？Scale 如何选择？
  27. SmoothQuant 如何确保 INT8 量化的精度正确？
  28. Prefill 阶段更适合 W8A8 还是 W4A16 量化？
  29. 介绍一下 FP4 量化格式（如 MXFP4 和 NVFP4）。块量化（Block Quantization）矩阵乘的维度如何变化？
  30. 硬件层面如何做量化计算？量化的硬件实现需要哪些基本操作单元？
  31. 写 CUDA 算子：Per-row 量化算子。
  32. Weight-only 量化 Kernel 如何优化访存？
  33. 是否了解 Marlin Kernel？
<div class="vip-lock-badge">🔒 VIP 专享核心题库·进阶真题全量加密</div>
<h3 class="vip-module-lock-title">后续 31 道大厂核心真题与手撕源码已锁定</h3>
<p class="vip-module-lock-desc">
  本模块第 3 题起的参考解答（追问细节、白板推导与手撕 Kernel 实现）在构建时加密，凭卡密在浏览器端解密后查阅。上方已公开全部题目列表。
</p>
<div class="vip-module-features">
  <div class="vip-feat-item">✓ 后续 31 道题目的完整参考解答</div>
  <div class="vip-feat-item">✓ 大厂追问细节与白板推导心法</div>
  <div class="vip-feat-item">✓ 手撕 CUDA / Triton Kernel 源码</div>
  <div class="vip-feat-item">✓ 微店自助下单，或闲鱼人工发卡</div>
</div>
<div class="vip-lock-actions">
  <button class="vip-btn vip-btn-primary vip-btn-lg" onclick="window.hpcVip.openModal()">🔑 输入密钥立即解锁后续全部 31 题</button>
  <a href="https://weidian.com/item.html?itemID=7884224812&utm_source=hpclearning&utm_medium=vip_card&utm_campaign=vip_card" target="_blank" class="vip-btn vip-btn-outline vip-btn-lg">🛒 微店下单获取卡密</a>
</div>