---
title: SGLang 与 vLLM Excalidraw 教程
jupyter: python3
---
更新时间：2026-05-25
本目录包含 7 张标准 `.excalidraw` 图：
1. `00_overview_sglang_vllm_2026.excalidraw`：学习路线总览
2. `01_sglang_core_mechanisms.excalidraw`：SGLang 核心机制
3. `02_sglang_frontier_features_2026q2.excalidraw`：SGLang 前沿 feature 更新
4. `03_sglang_interview_questions.excalidraw`：SGLang 面试常考题
5. `04_vllm_core_mechanisms.excalidraw`：vLLM 核心机制
6. `05_vllm_frontier_features_2026q2.excalidraw`：vLLM 前沿 feature 更新
7. `06_vllm_interview_questions.excalidraw`：vLLM 面试常考题
主要资料源：
- SGLang docs: https://docs.sglang.io/
- SGLang release notes: https://github.com/sgl-project/sglang/releases
- SGLang Q2 roadmap: https://github.com/sgl-project/sglang/issues/22949
- NVIDIA SGLang overview: https://docs.nvidia.com/deeplearning/frameworks/sglang-release-notes/overview.html
- vLLM docs: https://docs.vllm.ai/
- vLLM release notes: https://github.com/vllm-project/vllm/releases
- vLLM V1 guide: https://docs.vllm.ai/en/stable/usage/v1_guide/
- vLLM hybrid SSM disaggregation blog: https://vllm.ai/blog/2026-04-21-hybrid-ssm-disagg
## 练习题
1. 画出一次请求从 HTTP/gRPC 入口到 scheduler、KV cache、decode worker、返回 token 的完整路径，并标出 TTFT、TPOT、queueing latency 分别在哪里产生。
2. 对 SGLang：设计一个 RadixAttention prefix cache 命中实验，分别构造完全命中、部分命中和完全未命中的 prompt 集合。
3. 对 vLLM：手算 3 个不同长度序列在 PagedAttention block table 中的分配和释放过程，说明它如何降低 KV cache 碎片。
4. 对比 prefill/decode disaggregation、chunked prefill、continuous batching 三个机制：分别写出它们优化的瓶颈和可能带来的副作用。
## 面试题
1. SGLang 的 RadixAttention 与普通 prefix cache 的核心差异是什么，为什么适合多轮和结构化请求？
2. vLLM 的 PagedAttention 为什么能提升显存利用率，它和 OS virtual memory 的类比在哪里成立、在哪里不成立？
3. 服务端 LLM runtime 中，scheduler 需要同时平衡哪些目标：吞吐、尾延迟、公平性、显存和 cache 命中率如何取舍？
4. 如果线上 decode TPOT 突然恶化，你会按哪些证据顺序排查：队列、KV cache、GPU kernel、通信、batch shape 还是模型配置？
## 图示
```{=html}
SGLang 与 vLLM 推理框架教程总览
目标：核心机制 + 面试高频题 + 2026-05-25 前沿功能更新
SGLang 教程
定位
结构化生成语言 + 高性能 runtime
适合 agentic / RAG / 多轮共享前缀
核心机制
RadixAttention 前缀树
连续批处理 + cache-aware scheduling
结构化输出与工具调用
前沿重点
Spec V2 overlap / DFLASH / adaptive spec
PD disaggregation / decode-side radix cache
CP/EP/MoE/FA3/FA4/Omni/RL
面试抓手
解释 prefix reuse 为什么能降 TTFT
区分 prefill compute-bound 与 decode memory-bound
会从指标定位瓶颈
vLLM 教程
定位
生产级 LLM serving engine
OpenAI API / offline batch / 多硬件生态
核心机制
PagedAttention KV block table
V1 unified scheduler
chunked prefill + prefix cache
前沿重点
v0.21 KV offload + HMA
thinking budget spec decode
Blackwell TOKENSPEED_MLA
NIXL / Mooncake / disagg serving
面试抓手
讲清 logical block 到 physical block 映射
讲清 scheduler 如何平衡 TTFT 与吞吐
会调 max tokens / KV dtype / cache hit
共同底层问题
请求调度
KV cache
prefill/decode 分离
speculative decoding
并行与通信
观测指标
学习顺序
1 基础推理链路
2 KV cache 与调度
3 高级特性
4 前沿 release
5 面试题反推系统设计
学习路线总览 · Excalidraw 源文件
```{=html}
SGLang 核心机制：从结构化程序到 RadixAttention
面试主线：SGLang 的价值不是只跑模型，而是让复杂 LLM 程序自动复用 KV cache
调度器
waiting/running
cache-aware
RadixCache
前缀树匹配
LRU eviction
Runtime
batch + memory pool
CUDA graph
Model Runner
attention backend
MoE / quant
输出
stream tokens
structured JSON
Runtime 为什么快
连续批处理
每轮 forward 接纳新请求
减少 GPU 空转
结构化输出
约束解码 / FSM
减少无效 token 路径
system prompt
few-shot examples
Speculative decoding
EAGLE / MTP / NGRAM / DFLASH
用 draft 降低 target 调用次数
并行策略
TP / PP / DP / EP / CP
MoE all-to-all 与长上下文拆分
多后端 kernel
FA3 / FA4 / TRTLLM / FlashInfer
按 prefill/decode 选择
关键点
相同 token prefix 对应同一段 KV
命中时跳过重复 prefill
缓存满时倾向淘汰无引用的叶子
面试一句话
SGLang = 可编程前端 + cache-aware runtime。
核心是把复杂多轮程序拆成可复用 prefix，
再用调度器和 GPU kernel 把命中变成吞吐。
SGLang 核心机制 · Excalidraw 源文件
```{=html}
SGLang 前沿更新：2026 Q2 功能地图
资料基于官方文档、GitHub release v0.5.11 与 2026 Q2 roadmap
最新 feature 不只是新模型，而是围绕大规模 serving 的五条线：KV、调度、并行、kernel、观测
CUDA 13 + Torch 2.11
Docker / wheel 构建矩阵更新
多硬件：NVIDIA / AMD / TPU / CPU / XPU / NPU
FA3 community kernels
FA4 与 TRTLLM MLA 混合 backend
DSA sparse attention 与 hybrid attention
Spec V2 overlap scheduler
DFLASH 初始支持与 ROCm
adaptive speculative_num_steps
piecewise CUDA graph 兼容
decode-side radix cache
Mooncake incremental transfer
NIXL heterogeneous TP KV transfer
Mamba state slice transfer
CP all-reduce fusion
DP attention reduce_scatterv
DeepSeek-V3 / Kimi-K2 LoRA
FlashInfer CuteDSL FP4 MoE runner
SGLang-Diffusion dynamic batching
Disaggregated diffusion
Omni audio / multi-stage runtime
Miles / verl / slime rollout backend
OpenTelemetry for spec decode / PP
Prometheus gRPC metrics
raw KV token gauges
pending token count in load
面试表达方式
不要只背 release 名称。回答时按瓶颈归类：
TTFT 高 -> prefix / chunked prefill / PD
TPOT 高 -> decode kernel / KV bandwidth / spec accept
P99 高 -> scheduler / LoRA drain / disagg transfer / observability
SGLang 前沿 feature 更新 · Excalidraw 源文件
```{=html}
SGLang 面试常考问题速查
问法通常围绕：RadixAttention、调度、结构化输出、spec decode、PD disagg、MoE 并行
A
重复 prompt 的 KV 不重算
用前缀树记录共享 token 序列
A
SGLang 强调 trie prefix reuse
vLLM 强调 block table 内存分页
A
prefill 更 compute-bound
decode 更 KV bandwidth / memory-bound
A
每轮 forward 动态加入和移出请求
提升 GPU 利用率
A
约束候选 token
FSM / grammar 降低非法路径
A
draft 先猜多个 token
target 一次验证并接受前缀
A
prefill 节点算 KV
decode 节点拉取 KV 继续生成
A
EP 负责 expert 分布
all-to-all 和负载均衡决定尾延迟
A
TTFT / TPOT / throughput
cache hit / KV usage / P99
A
tokenizer 不一致导致 cache miss
backend 不匹配导致 kernel 退化
答题模板
先说系统瓶颈，再说数据结构，再说调度策略，最后落到指标：
例如 RadixAttention = KV cache prefix tree + cache-aware scheduling + TTFT/cache-hit 观测。
SGLang 面试常考题 · Excalidraw 源文件
```{=html}
vLLM 核心机制：PagedAttention 与 V1 引擎
面试主线：vLLM 用分页式 KV 管理和统一调度把 GPU batch 做大、做满、做稳
Processor
chat template
tokenizer
EngineCore
request queue
output processor
V1 Scheduler
统一 token budget
FCFS / priority
KV Manager
BlockPool
hash APC
Model Runner V2
CUDA graph
attention backend
Sampler
stream response
metrics
V1 scheduler 循环
Request A
logical blocks
0 1 2
PagedAttention：logical block 到 physical block
Block table
0 -> p7
1 -> p2
2 -> p9
GPU physical KV
p2 p7 p9 p13
可非连续分配
分配 token budget
prompt 与 output 统一
Automatic Prefix Caching
hash(prefix tokens + block tokens) -> KV Block
共享 block 通过 ref count 管理
一次 forward
chunked prefill + decode
关键点
V1 把 prompt token 与 output token 放进同一预算模型，
因此 chunked prefill、prefix cache、spec decode 能在同一调度循环里协作。
面试一句话
vLLM = PagedAttention 内存管理 + iteration-level scheduling。
它把 KV cache 从连续大块变成可共享、可驱逐、可分页的 block。
vLLM 核心机制 · Excalidraw 源文件
```{=html}
vLLM 前沿更新：v0.21 与 2026 大规模 serving
资料基于 GitHub v0.21.0 release、vLLM V1 文档与 2026-04 hybrid SSM disagg 博客
前沿方向：KV offload、disagg、hybrid models、Blackwell kernels、reasoning/spec decode、Responses API
Transformers v4 deprecated
C++20 build requirement
CUDA 13 与 Torch 2.11 生态迁移
Hybrid Memory Allocator 集成
scheduler-side sliding window groups
multi-connector HMA / MooncakeStoreConnector
DCP / PCP in OffloadingConnector
thinking budget support
independent drafter attention backend
multimodal support guard
per-step allocation elimination
Qwen3.5 / Mamba hybrid support
CUDA graph for ViT / EAGLE prefill
metadata rebuild 优化
RayExecutorV2 default
Blackwell TOKENSPEED_MLA
FlashInfer sampler default
FA4 default MLA prefill from v0.20
TurboQuant 2-bit KV cache
NVFP4 KV cache
bi-directional KV transfer P <-> D
NIXL transfer redesign and 1.x
Mooncake transfer observability
hybrid SSM-FA disagg available in v0.20+
Responses API streaming tool calling
strict tool calling with XGrammar 0.2
Fastokens tokenizer path
RLHF weight update APIs
面试表达方式
vLLM 的新 feature 大多围绕两个生产痛点：
1 KV cache 太贵：offload / quant / APC / disagg
2 复杂模型变多：Mamba hybrid / multimodal / reasoning / tool calling
vLLM 前沿 feature 更新 · Excalidraw 源文件
```{=html}
vLLM 面试常考问题速查
问法通常围绕：PagedAttention、continuous batching、APC、V1 scheduler、chunked prefill、disagg
A
KV cache 分成固定 block
逻辑 block 映射到非连续物理 block
A
hash(prefix + block tokens)
共享物理 KV block
A
vLLM 使用 hash block cache
SGLang 使用前缀树组织共享
A
prompt 与 output 统一 token budget
支持 FCFS / priority
A
长 prompt 分块进入调度
避免 decode 被长 prefill 饿死
A
drafter 生成候选
target 验证接受前缀
A
prefill worker 产 KV
decode worker 通过 NIXL / Mooncake 拉 KV
A
max_num_batched_tokens
max_num_seqs / gpu_memory_utilization
kv_cache_dtype / prefix hit
A
TTFT 看 prefill / queue / cache
TPOT 看 decode kernel / KV bandwidth
P99 看调度与通信
答题模板
先画 block table，再讲 scheduler loop，最后落到指标和参数。
这比只说 PagedAttention 是虚拟内存类比更像工程答案。
vLLM 面试常考题 · Excalidraw 源文件