强化学习与大模型后训练
18 课强化学习算法演进、LLM Post-Training 与具身连续控制闭环
强化学习与后训练核心主线
打通从经典强化学习（MDP、Bellman 方程、策略梯度、PPO）到大模型后训练（RLHF、DPO、RLVR、GRPO）、分布式 Rollout/Training 架构，并进阶推导物理连续动作空间高斯/Beta 策略与端云真机-仿真混合回传飞轮。
学习目标
掌握 MDP 建模、Bellman 递推、优势估计（GAE）与 PPO 裁剪机制；
理解从经典 RL 到大模型 Token 级 MDP 与完整序列 Bandit 的映射关系；
深入分析 RLHF (PPO vs DPO) 与 DeepSeek-R1 式的 GRPO 组内相对优势计算；
掌握多节点大规模 RL 系统（Rollout Worker、Actor-Learner 分布式通信合同）的设计考量；
掌握物理连续动作空间高斯重参数化、动力学平滑惩罚与 GPU 向量化仿真（Isaac Lab）及真机影子模式数据飞轮。
课程目录
| 课程名称 | 模块归属 |
|---|---|
| 第 1 课：MDP、回报与 Bellman 递推 | 强化学习核心算法 |
| 第 2 课：Monte Carlo、TD 与偏差—方差 | 强化学习核心算法 |
| 第 3 课：策略梯度与基线 | 强化学习核心算法 |
| 第 4 课：GAE 与优势估计 | 强化学习核心算法 |
| 第 5 课：PPO：比率裁剪与训练循环 | 强化学习核心算法 |
| 第 6 课：价值损失、熵与多目标优化 | 强化学习核心算法 |
| 第 7 课：DQN：回放、目标网络与过估计 | 强化学习核心算法 |
| 第 8 课：SAC：最大熵与温度 | 强化学习核心算法 |
| 第 9 课：离线 RL 与分布外动作 | 强化学习核心算法 |
| 第 10 课：RLHF/RLVR：奖励来源、KL 与 token 对齐 | 大模型后训练对齐 |
| 第 11 课：GRPO 与组内相对优势 | 大模型后训练对齐 |
| 第 12 课：大规模 RL 系统：rollout、训练与评测 | 大模型后训练对齐 |
| 第 13 课：连续动作空间 RL 系统：高斯与 Beta 策略、动作平滑惩罚与动力学约束 | 具身与控制闭环进阶 |
| 第 14 课：真机与仿真混合回传飞轮：分布式向量化仿真与 Sim-to-Real 数据闭环 | 具身与控制闭环进阶 |
| 第 15 课：大模型强化学习训推一体化系统：放置策略、HybridFlow 的 3D-HybridEngine 与跨拓扑 Resharding | 系统工程与大规模架构 |
| 第 16 课：异步强化学习与长尾调度：Partial Rollout、陈旧度修正与 AReaL 解耦系统 | 系统工程与大规模架构 |
| 第 17 课：过程奖励建模与规则验证器：PRM、代码沙箱与 Reward Hacking 防御 | 奖励系统与对齐实战 |
| 第 18 课：强化学习与偏好对齐进阶：Dr.GRPO、GSPO 路由重放与 KTO 离线对齐 | 算法前沿与对齐进阶 |