Triton Kernel 主线
10 课 OpenAI Triton 编程与 Tile 级算子开发
Triton Kernel 核心主线
OpenAI Triton 为深度学习工程师提供了用 Python 编写高效 GPU 算子的强大工具。本主线从 Program、Block 与 Mask 基础出发,全面覆盖逐元素激活、归约、Softmax、转置、Matmul 与随机数生成。
学习目标
深入理解 Triton 的 SPMD 执行模型与 Block 级编程思想;
掌握
tl.load/tl.store的 Boundary Mask 防护与 Padding 处理;熟练编写 Blocked Matrix Multiplication 与 FP32 累加;
掌握 Triton 独有的
tl.constexpr编译期常量与自动调优机制。
课程目录
| 课程名称 | 模块归属 |
|---|---|
| 第 1 课:Program、Block 与 Mask | Triton Kernel 主线 |
| 第 2 课:Load/Store 与向量加法 | Triton Kernel 主线 |
| 第 3 课:逐元素激活与融合边界 | Triton Kernel 主线 |
| 第 4 课:二维 Grid、Stride 与广播 | Triton Kernel 主线 |
| 第 5 课:行归约与 Padding 单位元 | Triton Kernel 主线 |
| 第 6 课:均值方差与 Mask 二次传播 | Triton Kernel 主线 |
| 第 7 课:稳定 Softmax 与融合 | Triton Kernel 主线 |
| 第 8 课:二维 Tile 与转置 | Triton Kernel 主线 |
| 第 9 课:Blocked Matmul 与 FP32 累加 | Triton Kernel 主线 |
| 第 10 课:无状态随机数与 Dropout | Triton Kernel 主线 |