Module 05: 大模型算法与模型架构

涵盖 RoPE 旋转位置编码、MLA 多头潜在注意力、DeepSeek MoE 架构、SwiGLU 与 MTP 多 Token 预测等 24 道核心真题全解

前沿大模型核心算法演进、数学公式第一性原理白板推导与物理约束设计

模块导读：本模块共 23 道 高频面试题。前 2 题为公开免费样题（含完整题目描述与参考解答）；第 3 题起的 21 道题目描述全部公开（见下方完整题目列表），答案在构建时加密，凭卡密在浏览器端解密后查阅。

Q1：介绍一下 Transformer 的架构，和传统 RNN 相比有何优势？相比 MLP 呢？

Tip💡 核心参考解答（公开试读样题）

  • 相比 RNN：Transformer 抛弃了循环结构，利用 Self-Attention 全局建模，解决了长距离依赖问题（无梯度消失），并且可以高度并行化训练（不需要像 RNN 逐步等待），极大提升了训练效率。

  • 相比 MLP：Transformer 的参数量不随序列长度增加而增加，通过 Query-Key 交互动态生成注意力权重，具有序列平移不变性（依赖位置编码）和处理变长序列的能力，而 MLP 的权重是静态且输入维度固定的。

Q2：Transformer 中参数都分布在哪里？参数量最大的是哪部分？计算量最大的是哪部分，为什么？

Tip💡 核心参考解答（公开试读样题）

  • 参数分布：Embedding 层、Attention 层（Wq, Wk, Wv, Wo）、FFN 层（Up, Gate, Down）、LayerNorm 及最后的 LM Head。

  • 参数量最大：FFN 层。通常 FFN 的隐层维度是模型维度的 4 倍（或如 Llama 中的 8/3 等比例），占据了单层约 2/3 的参数量。

  • 计算量最大：对于极长序列，Attention 计算量 (

  • ) 会超过 FFN (

  • )；但在常规长度下，也是 FFN 的矩阵乘占据主导。

本模块完整题目列表

以下为本模块全部 23 道题目。Q1–Q2 答案公开免费试读，Q3 起的答案需凭卡密解锁（题目描述本身全部公开）。

  1. 介绍一下 Transformer 的架构，和传统 RNN 相比有何优势？相比 MLP 呢？（免费）
  2. Transformer 中参数都分布在哪里？参数量最大的是哪部分？计算量最大的是哪部分，为什么？（免费）
  3. Transformer 架构 (Encoder-only, Decoder-only, Encoder-Decoder) 各自的优缺点是什么？举例说明。
  4. 大模型 Prefill 阶段为什么要用上三角 Mask（Causal Mask）？因果性体现在哪里？
  5. 旋转位置编码 RoPE 了解吗，怎么实现的？
  6. Softmax 在工程实现上有哪些优化用法（如 Online Softmax）？
  7. FlashAttention 的本质作用是什么？
  8. FlashAttention V2 比起 V1 做了哪些改进？了解最新的 V4 版本吗？
  9. FlashAttention v2 为什么外层对 Q 循环？
  10. FlashDecoding 算法原理是什么？Combine Kernel 耗时占比大概是多少？
  11. 介绍 MHA、GQA 和 MLA 的区别与原理。MLA 为什么比 MHA 好？
  12. MLA 的矩阵吸收是什么？遇到了哪些问题？Prefill 和 Decode 阶段是否都要做？
  13. 分析 MLA Decode 的计算访存比，它和 Seqlen、Batch Size 的关系。
  14. 主流模型架构的演变：Llama 1-3 的演变，Qwen 的 MoE 实现。
  15. MoE 模型和多模态模型训练还有哪些优化点？MoE 模型通信优化有哪些手段？
  16. MoE 模型在投机采样中会遇到哪些性能问题？
  17. DeepSeek (dpsk) 的模型结构是怎样的？DeepSeek 的 DSA, NSA, MoBA 的区别是什么？
  18. MTP (Multi-Token Prediction) 和 Eagle 在投机解码上的区别？MTP Head 的 Prefill 过程是怎样的？KV Cache 会如何变化？
  19. 手撕代码：DeepSeek-V3 结构伪代码，并手算参数量和每次推理的访存量。
  20. 推导 Attention 计算过程中 Q、K、V 及中间结果的矩阵维度。多头和多 Batch 在 Attention 计算时如何并行？
  21. Attention 计算占大模型整个系统端到端延迟的百分比大概是多少？
  22. 模型根据 Prompt 输出重复或者相似度高是什么原因？
  23. LLM 的知识蒸馏放在预训练阶段做是否合适？
<div class="vip-lock-badge">🔒 VIP 专享核心题库·进阶真题全量加密</div>
<h3 class="vip-module-lock-title">后续 21 道大厂核心真题与手撕源码已锁定</h3>
<p class="vip-module-lock-desc">
  本模块第 3 题起的参考解答（追问细节、白板推导与手撕 Kernel 实现）在构建时加密，凭卡密在浏览器端解密后查阅。上方已公开全部题目列表。
</p>
<div class="vip-module-features">
  <div class="vip-feat-item">✓ 后续 21 道题目的完整参考解答</div>
  <div class="vip-feat-item">✓ 大厂追问细节与白板推导心法</div>
  <div class="vip-feat-item">✓ 手撕 CUDA / Triton Kernel 源码</div>
  <div class="vip-feat-item">✓ 微店自助下单，或闲鱼人工发卡</div>
</div>
<div class="vip-lock-actions">
  <button class="vip-btn vip-btn-primary vip-btn-lg" onclick="window.hpcVip.openModal()">🔑 输入密钥立即解锁后续全部 21 题</button>
  <a href="https://weidian.com/item.html?itemID=7884224812&utm_source=hpclearning&utm_medium=vip_card&utm_campaign=vip_card" target="_blank" class="vip-btn vip-btn-outline vip-btn-lg">🛒 微店下单获取卡密</a>
</div>