推理引擎源码与前沿优化

18 课 vLLM / SGLang 核心源码解析与端侧/具身前沿加速引擎

推理引擎源码核心线

走读 vLLM（V1 架构）与 SGLang（SRT 架构）源码，拆解调度、KV 内存管理和前沿推理算法；再扩展到车载/机器人端侧：TensorRT 插件、连续动作去噪推理引擎和混合精度部署。

学习目标

  1. vLLM V1 架构：AsyncLLM、EngineCore 多进程隔离与 Worker 调用链；

  2. SGLang SRT 架构：Scheduler、ScheduleBatch 与 ModelRunner；

  3. KV Cache 管理：PagedAttention 与 RadixAttention（Prefix Caching）原理对比；

  4. 前沿技术实战：稀疏注意力、量化源码（INT4/FP8/NVFP4）与投机采样数学校验（EAGLE-3/MTP）；

  5. 端侧与具身引擎：TensorRT 10+ IPluginV3 插件生命周期、Diffusion/Flow Matching 连续动作流式推理、端侧混合精度敏感度分析。

课程目录

课程名称 模块归属
第 1 课：vLLM V1 源码地图：AsyncLLM、EngineCore 与 Worker 云端 LLM 推理引擎源码
第 2 课：vLLM V1 统一调度器、KVCacheManager 与 Prefix Cache 云端 LLM 推理引擎源码
第 3 课：SGLang SRT 源码地图：Scheduler、ScheduleBatch 与 ModelRunner 云端 LLM 推理引擎源码
第 4 课：SGLang RadixAttention、内存池与 Overlap Scheduling 云端 LLM 推理引擎源码
第 5 课：稀疏推理：权重、MoE、Sparse Attention 与 HiSparse 前沿推理优化技术
第 6 课：量化源码走读：INT4、FP8、NVFP4、MXFP4 与 KV Cache 前沿推理优化技术
第 7 课：投机采样正确性：Draft、Target Verification 与拒绝校正 前沿推理优化技术
第 8 课：现代 Speculative Systems：EAGLE-3、MTP、DFlash 与 DSpark 前沿推理优化技术
第 9 课：端侧推理引擎源码剖析：TensorRT IPluginV3 插件体系与执行器架构 端侧与具身引擎进阶
第 10 课：具身智能推理引擎：Diffusion 与 Flow Matching 连续动作流式调度架构 端侧与具身引擎进阶
第 11 课：端侧混合精度部署：FP16/INT8/W4A8/FP4 量化对齐与延迟控制 端侧与具身引擎进阶
第 12 课：Prefill 与 Decode (PD) 物理分离：架构权衡、KV 传输与分层存储 分离式推理与大规模集群
第 13 课：Decode Attention 深度优化：Flash-Decoding、FlashInfer 与 FlashMLA 算子微架构进阶
第 14 课：大模型结构化剪枝与知识蒸馏实战：从稀疏结构到可部署模型 模型压缩与对齐实战
第 15 课：免训练长上下文加速：KV 驱逐、动态分块与低秩稀疏 前沿推理优化技术
第 16 课：投机采样工程进阶：大 Batch 收益边界、动态深度与无 Draft 模型架构 前沿推理优化技术
第 17 课：激活量化与旋转变换：SmoothQuant、QuaRot 与 SpinQuant 离群值消除 前沿推理优化技术
第 18 课：推理低延迟通信与多租户调度：Custom AllReduce 与 Multi-LoRA 实战 分离式推理与大规模集群

专题指南与互动体验