现代 LLM 结构：从 GPT-2 到今天的演进

02 · 前向的算量与访存量：一条 Roofline

结论：每参数每 token 2 FLOPs；decode 每步把 16 GB 权重读一遍、算术强度在数值上就等于 B，ridge 是 989 / 3.35 ≈ 295——这就是「decode 是 memory-bound」的全部含义。

数字：8B 在一张 H100 上

• 训练 6ND（激活重算 8ND）；激活 \(sbh(34 + 5as/h)\)，8K 时每层 11 GiB 其中 10 GiB 是 s² 项
• 对 decode，「模型多大」的度量是字节不是 FLOPs：FFN 砍一半下界不变，INT4（量化专题）才降到 1.3 ms

04 · Attention 变体与 KV cache：MHA、GQA、MQA、MLA

结论：KV cache 每 token = \(2\,L\,n_{kv}\,d_{head} \cdot\) bytes/elem，公式里没有 \(n_h\)——V3 128 头 61 层的 KV（68.6 KiB）比 8B 32 头（128 KiB）还小。

MLA：只有 c^KV 与 k^R 进 cache

%%{init: {"flowchart": {"wrappingWidth": 260}}}%%
flowchart LR
    H["h_t (7168)"] --> DKV["W_DKV + W_KR<br/>7168 → 576"]
    DKV --> CKV["c^KV_t (512)<br/>进 cache"]
    DKV --> KR["k^R_t (64)，RoPE<br/>128 个 head 共享，进 cache"]
    CKV --> UKV["W_UK / W_UV 升维<br/>512 → 128 head × 128"]
    UKV --> ATT["attention<br/>q·[k^C ; k^R] / √192"]
    KR --> ATT
    H --> Q["W_DQ → W_UQ + W_QR<br/>q^C 128 维 + q^R 64 维"] --> ATT
    ATT --> WO["W_O 16384 → 7168"]
    classDef cache fill:#fde68a,stroke:#b45309,stroke-width:2px,stroke-dasharray:5 3
    class CKV,KR cache

• 解耦 RoPE：位置相关的旋转吸不进与位置无关的升维矩阵，所以单独留 64 维
• decode 把 \(W_{UK}\)、\(W_{UV}\) 吸收进 \(W_Q\)、\(W_O\)：等价于 128 头共享一个 576 维 KV 头的 MQA，强度约 242；代价 attention FLOPs 约 3.4 倍，所以 prefill 走非吸收路径

物化的 S = QKᵀ 有多大，FlashAttention 省了什么

• 8K 上下文、32 头：每层 \(s \times s\) 的 logits 4 GiB（BF16），写出 HBM 再读回
• FlashAttention：分块 + online softmax，从不物化 S，HBM 流量降到 \(O(s^2 d^2 / M)\)；算量不变
• 8B 单卡 8K 的最大并发约 59、128K 只有 3：KV 定并发
• MLA 不是免费的：多算 3.4 倍 attention FLOPs、维护两条等价路径、专用 kernel、不能从 MHA checkpoint 直接转换

06 · MoE：三个「参数量」分开算

结论：总参数定显存（671B，FP8 也放不进 8 卡 640 GB）、激活参数定 FLOPs（37B，是 70B 的一半）、每步实际读取的参数定 decode 带宽——中等 batch 下几乎读全部专家，稀疏省了算量没省访存。

MoE 层：router 打分、top-k 选择，只算选中的

%%{init: {"flowchart": {"wrappingWidth": 240}}}%%
flowchart LR
    TOK["token x（d 维）"] --> RT["router W_r x<br/>E 个分数 → top-k（k = 8）"]
    RT -->|"g_1"| E1["FFN_1 选中"]
    RT -.->|"g_2 = 0"| E2["FFN_2 不计算"]
    RT -->|"g_E"| EE["… FFN_E 选中"]
    TOK --> SH["共享专家<br/>不经 router"]
    E1 & EE & SH --> SUM["y = Σ g_i · FFN_i(x) + FFN_shared(x)<br/>算了 k + 1 个，持有 E + 1 个"]
    classDef active fill:#dff0d8,stroke:#3c763d
    classDef idle fill:#f5f5f5,stroke:#aaa,color:#888
    classDef sh fill:#fcf8e3,stroke:#8a6d3b
    class E1,EE active
    class E2 idle
    class SH sh

部署为什么难：EP 与 all-to-all

• 出路是专家并行（EP32 每卡约 37 GB、EP320 每卡 19.6 GB，简化模型），代价：
  • 每层两次 all-to-all：每 token 每层 dispatch FP8 56 KiB + combine BF16 112 KiB，是 TP-8 all-reduce 的 6.7 倍；4096 token 的 prompt 58 层共 38 GiB
  • 每专家 GEMM 只有 \(Tk/E\) 行，强度比 dense 低 E/k = 32 倍，过 ridge 需一层里约 9600 个 token
  • 最慢的卡决定全层时间 → 节点受限路由（每 token 最多 4 个节点）、aux-loss-free 均衡、冗余专家
• TP-8 不行：把 2048 宽的专家切成 256 列太瘦，且不减少每卡读的专家数

07 · MTP：改训练目标而不改主干

结论：每个位置额外预测 \(t_{i+2}\)，信号密度 ×(1 + D)，主干被逼编码更远的未来；模块顺序喂真实 \(t_{i+1}\) 保持因果链（teacher forcing 的延伸）；推理时丢弃或当投机 draft。

%%{init: {"flowchart": {"wrappingWidth": 220}}}%%
flowchart LR
    T["主干 Transformer<br/>h_i"] --> H0["lm_head → 预测 t_{i+1}<br/>L_main"]
    T --> C["RMSNorm(h_i) ‖ RMSNorm(emb(t_{i+1}))<br/>投影 2d → d"]
    E["真实 t_{i+1}"] --> C
    C --> BLK["一个 Transformer block"] --> H1["共享 lm_head → 预测 t_{i+2}<br/>λ · L_MTP"]
    classDef mtp fill:#e0e7ff,stroke:#4338ca
    class C,BLK,H1 mtp

多花了什么、多得了什么

• 「MTP 头 loss 更低所以更强」——条件不同；「小模型没收益所以无效」——规模依赖
• 顺序模块 vs 并行头是两条路线：并行头跳过中间 token 会干扰主干

09 · 多模态：一张图等于多少 token

结论：图片贵的不是 encoder（一次性、compute-bound、12 ms），是它变成的 token 在 decoder 里占的 KV——与同长文本同价、活到请求结束；1024² 在 Qwen2-VL 里 = 1369 个 token，一段无法被 tokenizer 压短的 system prompt。

三段各一笔账（70B 规格，1024² 一张图）

• 比值 \(2Ln_{kv}d_{head}/d_{model}\)：70B 20、8B 16、Qwen2-VL-7B 8
• cross-attention 注入（Llama 3.2 Vision）用 0.5B 参数换序列长度，图片 KV 800 → 200 MiB
• 一分钟 720p 1 fps 视频 35,880 token；按像素预算，不按张数

10 · 浮点格式：指数位定范围，尾数位定精度

结论：前向反向要范围、权重更新要精度——所以 BF16 计算 + FP32 master weights；\(\Delta w / w \sim 10^{-4}\) 低于 BF16 的单位舍入 \(2^{-8} = 0.004\)，1.0 + 0.001 会被舍回 1.0。

各格式能表示的范围，与训练里梯度的分布

• 训练状态 16 B / 参数（bf16 权重 2 + 梯度 2 + fp32 主权重 4 + Adam m、v 8）：8B 128 GB、70B 1.1 TB、671B 10.7 TB
• FP8 分工：E4M3 存权重与激活、E5M2 存梯度；V3 每 128 项提升到 FP32 累加，与 1 × 128 / 128 × 128 的分块 scale 对齐

数值丢失的四个位置，以及什么才是 bug

• 两个 kernel 的差异在 ε 到 ε√k 之间是噪声（BF16 GEMM 相对 FP32 参考 10⁻³–10⁻²）；大几个数量级或有系统性符号才是 bug
• QK-norm 把 attention logit 上界压到 \(\sqrt{d_{head}}\,g_q g_k \approx 11.3\,g_q g_k\)

现代 LLM 结构系列共用的成本模型

%%{init: {"flowchart": {"wrappingWidth": 260}}}%%
flowchart TB
    S["结构：L、d、d_ff、n_kv、E、k<br/>（01、06）"] --> N["参数量 N、激活参数量（01、06）"]
    S --> K["KV / token = 2 L n_kv d_head · bytes/elem（04）"]
    D["数值：bytes/param、bytes/elem（10、量化专题）"] --> W["权重字节 = N · bytes/param"]
    N --> W
    D --> K
    N --> F["FLOPs / token ≈ 2N + 4dLs（02、05）"]
    R["运行点：B、s、prefill / decode（02、05、06、08、09）"] --> F
    R --> H["每步字节 = 权重字节 + B · s · KV/token"]
    K --> H
    W --> H
    F --> I["算术强度 I = FLOPs / 字节"]
    H --> I
    I --> T["与 ridge ≈ 295 比较 → memory / compute-bound → 时间下界"]

五条贯穿线