arganzheng · 2026-04-09
从熟悉的 Transformer 主干出发,读配置、数参数,再用算量、访存和 Roofline 理解现代 LLM 的结构改动与代价。
llm_cost.py,把模型配置和硬件参数换算成成本表五处槽位改动逐项数出 Llama-3-8B 的 8,030,261,248 参数
\[N = L\big[d(2d + 2d_{kv}) + 3d \cdot d_{ff} + 2d\big] + 2Vd + d\]| Llama-3-8B | 每层 | × 32 层 | 占比 |
|---|---|---|---|
| attention(Q、O 各 d²,K、V 各 d·d_kv) | 41.94M | 1.34B | 17% |
| SwiGLU 三矩阵 3 × 4096 × 14336 | 176.16M | 5.64B | 70% |
| embedding + lm_head(不共享) | — | 2 × 525.3M | 13% |
decode 算术强度 ≈ B 远小于 ridge 295——就是 memory-bound
decode 由访存定(B = 1:4.5 ms 对 0.015 ms),prefill 由算力定(8K:142 ms)
| 量 | 数 |
|---|---|
| 每 token 权重 FLOPs | 2 × 7.5B = 15.0 G;attention 8K 4.3 G、128K 68.7 G |
| decode B = 1 | 读 15.0 GB / 3.35 TB/s = 4.5 ms、约 220 token/s(按驻留的 16.06 GB 粗算 4.8 ms / 208);算力时间 0.015 ms |
| 要 compute-bound | B ≈ 295,但 8K 下这些请求的 KV 要 295 GiB,剩 64 GB 放不下 |
| KV 读取强度 | 常数 g = 4,不随 B 摊薄;总强度趋于 18 → 单卡任何可行 batch 都 memory-bound |
| 真正的约束 | B × s ≤ 52 万 token(按 64 GiB 粗算;每 token 128 KiB) |
| prefill 8K | 因果三角约 140 TFLOP;峰值 0.14–0.16 s 是物理下限,60% MFU 约 0.24–0.27 s |
不是装不下,是没见过——8K 训练时 14 对低频没转完一圈
KV 公式里没有 \(n_h\)——V3 128 头的 cache 比 8B 32 头还小
| 模型 | 结构 | KV / token | 128K 上下文 | decode attention 强度 |
|---|---|---|---|---|
| 8B 若用 MHA | 32 KV 头 | 512 KiB | 64 GiB | 1 |
| Llama-3-8B | GQA,8 KV 头(g = 4) | 128 KiB | 16 GiB | 4 |
| Llama-3-70B | GQA,8 KV 头(g = 8) | 320 KiB | 40 GiB | 8 |
| DeepSeek-V3 | MLA,512 + 64 维 latent | 68.6 KiB | 8.6 GiB | 242 |
| V3 若用 MHA | 128 头 × 128 | 3.81 MiB | 477 GiB | 1 |
%%{init: {"flowchart": {"wrappingWidth": 260, "rankSpacing": 28, "nodeSpacing": 16}}}%%
flowchart TB
H["hₜ(7168)"] --> DKV["W_DKV + W_KR<br/>7168 → 576"]
DKV --> CKV["cᵏⱽₜ(512)<br/>进 cache"]
DKV --> KR["kᴿₜ(64)+ RoPE<br/>128 head 共享,进 cache"]
CKV --> UKV["W_UK / W_UV<br/>512 → 128 头 × 128"]
UKV --> ATT["attention<br/>q · [kᶜ; kᴿ] / √192"]
KR --> ATT
H --> Q["W_DQ → W_UQ + W_QR<br/>qᶜ + qᴿ"] --> ATT
ATT --> WO["W_O"]
classDef cache fill:#fde68a,stroke:#b45309,stroke-width:2px,stroke-dasharray:5 3
class CKV,KR cache
KV 线性定并发,prefill 的 attention 二次定 TTFT
| Llama-3-8B | Llama-3-70B | |
|---|---|---|
| attention = 权重 FLOPs 的交叉点 | 约 28.6K | 约 53.8K |
| 128K 时 attention / 权重 FLOPs | 68.7 G / 15.0 G = 4.6 倍 | 344 G / 141 G |
| 128K prefill(60% MFU) | 6.5 PFLOP,约 11 s | 41 PFLOP,约 69 s |
| 128K 一条请求的 KV | 16 GiB | 40 GiB |
权重项是水平线,attention 项随 s 线性涨:8B 在约 28.6K 相交,70B 在约 53.8K
decode 用递归,prefill 用分块:128K、块长 64 时串行 2,048 步,不是 131,072 步。
总参数定显存、激活定算力、读到的专家定带宽——稀疏没省访存
| DeepSeek-V3,256 专家取 top-8 | B = 1 | B = 8 | B = 32 | B = 128 |
|---|---|---|---|---|
| 期望激活专家数 \(E[1 - (1 - k/E)^B]\) | 8 | 57.4 | 163 | 252 |
| 每步读取的参数(FP8,1 B/参数) | 37.6 GB | 164 GB | 434 GB | 660 GB |
| 对比 dense 70B(BF16) | 141 GB | 141 GB | 141 GB | 141 GB |
%%{init: {"flowchart": {"wrappingWidth": 240}}}%%
flowchart LR
TOK["token x(d 维)"] --> RT["router Wᵣ x<br/>E 个分数 → top-k(k = 8)"]
RT -->|"g₁"| E1["FFN₁ 选中"]
RT -.->|"g₂ = 0"| E2["FFN₂ 不计算"]
RT -->|"g_E"| EE["… FFN_E 选中"]
TOK --> SH["共享专家<br/>不经 router"]
E1 & EE & SH --> SUM["y = Σ gᵢ · FFNᵢ(x) + FFN_shared(x)<br/>算 k + 1 个,持有 E + 1 个"]
classDef active fill:#dff0d8,stroke:#3c763d
classDef idle fill:#f5f5f5,stroke:#aaa,color:#888
classDef sh fill:#fcf8e3,stroke:#8a6d3b
class E1,EE active
class E2 idle
class SH sh
TP 下每张卡仍要读全部专家的切片;EP 下每张卡只读自己的专家
额外预测 D 个 token,信号是 1 + D 倍;推理时丢弃或当投机 draft
%%{init: {"flowchart": {"wrappingWidth": 220}}}%%
flowchart LR
T["主干 Transformer<br/>hᵢ"] --> H0["lm_head → 预测 tᵢ₊₁<br/>L_main"]
T --> C["RMSNorm(hᵢ) ‖ RMSNorm(emb(tᵢ₊₁))<br/>投影 2d → d"]
E["真实 tᵢ₊₁"] --> C
C --> BLK["一个 Transformer block"] --> H1["共享 lm_head → 预测 tᵢ₊₂<br/>λ · L_MTP"]
classDef mtp fill:#e0e7ff,stroke:#4338ca
class C,BLK,H1 mtp
| DeepSeek-V3(D = 1) | nanoGPT 0.8M 实验 | |
|---|---|---|
| 额外参数 | 一个 block + 2d²,< 2% | +29% |
| 每步耗时 | — | +38% |
| 主任务 | 大规模上有收益(13B 以上明显) | 1.9375 对 1.9364,不变 |
| MTP 头 | 当投机 draft:接受率 85–90%、TPS 约 1.8 倍 | t+2 命中 45%(知道 t+1 且多一层) |
一次前向验证 γ 个草稿——分布严格等于目标模型
| 量 | 8B 上的数字 | 边界 |
|---|---|---|
| 期望产出 | \((1-\alpha^{\gamma+1})/(1-\alpha)\):α=0.8、γ=4 → 3.36 token | γ 越大增量越小,草稿成本线性涨 |
| 加速比 | \(\mathbb{E}[\text{tokens}]/(\gamma c + 1)\):c=0.1 → 2.4×,c=0.02 → 3.1× | 前提是验证 γ+1 个与验证 1 个同样贵 |
| 转折 batch | ridge/(γ+1) ≈ 60:B=64 时 T(5B) = 4.86 ms,刚过转折;60% MFU 下 B=64 掉到 1.6、B=128 低于 1 | 完全 compute-bound 时 3.36/5.4 ≈ 0.62 |
| 草稿来源 | 独立小模型、Medusa、EAGLE、n-gram、MTP 模块(α≈0.85–0.9,1.8×) | 改 α 与 c,改不了收益区间 |
Table: 投机解码的正确性、收益与边界
图贵在 KV 不占 encoder——1024² = 1369 token 活到请求结束
encoder 输出 21 MiB 活到 prefill 结束;KV 428 MiB 活到请求结束
| 段 | 账 | 数 |
|---|---|---|
| vision encoder(0.63B ViT,5476 patch) | \(2N_{vit}n_p + 4L_{vit}n_p^2 d_{vit}\) | 11.8 TFLOP,attention 二次项占 42%(CLIP ViT-L/14-336 只占 9%);一次性 |
| connector | 决定 token 数 | MLP 不压缩 576 · 2×2 merge 1369 · resampler 定长;同一张图 576–6404 差 11 倍 |
| decoder | prefill + KV | 190 TFLOP(H100 峰值约 192 ms);KV 428 MiB,是 encoder 输出 21 MiB 的 20 倍 |
计算 BF16、master weights 要 FP32——更新量低于 BF16 舍入
| 位置 | 例子 | 对策 |
|---|---|---|
| 大数吃小数 | 1.0 + 0.001 in BF16 | FP32 master weights |
| 长求和 | k = 4096 的点积在 BF16 中累加:噪声估计 u√k = 25%,高斯输入实测 7.2% | FP32 累加器 |
| 指数溢出 | softmax 的 e^x,x > 11 在 FP16 溢出 | 减最大值 |
| 相消 | 方差 = E[x²] − E[x]² | Welford |
%%{init: {"flowchart": {"wrappingWidth": 260}}}%%
flowchart TB
S["结构超参<br/>(01、06)"] --> N["参数量 N"]
S --> K["KV / token(04)"]
D["数值格式(10)"] --> W["权重字节"]
N --> W
D --> K
N --> F["FLOPs / token(02、05)"]
R["运行点 B、s(02–09)"] --> F
R --> H["每步字节"]
K --> H
W --> H
F --> I["算术强度 I = FLOPs / 字节"]
H --> I
I --> T["对比 ridge → 时间下界"]
| 线 | 落点 |
|---|---|
| 一条 Roofline | \(I_{weight} = B\)、\(I_{KV} = g\);MLA 把 g 抬到 242;MoE 专家强度 Tk/E;投机转折 ridge/(γ+1)(量化专题的 W4A16 在 ridge/4) |
| KV 与上下文 | 128 KiB/token 打开成四个乘子;B × s ≤ 显存 / KV;长上下文贵在 HBM 字节数不在调度 |
| 「参数量」拆成几个数 | N → N_gemm 7.5B → 总 / 激活 / 每步读取 → bytes/param 推理 2、训练 16(4.25 bit 与可训练 0.52% 在两个专题) |
| 字节里存了什么 | E4M3 / E5M2 分工、128 分块 scale、FP8 KV、FP8 dispatch;数值决定结构细节 |
| 篇 | 一个公式 / 一个数 |
|---|---|
| 01 | \(N = L[d(2d + 2d_{kv}) + 3d\,d_{ff} + 2d] + 2Vd + d\);8,030,261,248 |
| 02 | ridge = 989 / 3.35 ≈ 295;\(I_{weight} = B\)、\(I_{KV} = g\);训练 \(6ND\) |
| 03 | \(\lambda_i = 2\pi\cdot\text{base}^{2i/d_{head}}\);位置外推不等于长文理解 |
| 04 | KV/token = \(2Ln_{kv}d_{head}\cdot\)bytes;MLA 68.6 KiB、强度 242 |
| 05 | 交叉点 8B 28.6K;128K prefill 约 11 s,KV 16 GiB |
| 06 | \(E[1-(1-k/E)^B]\):B = 32 → 163 个专家、434 GB |
| 07 | \(\mathcal L_{main} + \lambda\bar{\mathcal L}_{MTP}\);接受率 85–90%、1.8 倍 |
| 08 | \((1-\alpha^{\gamma+1})/(1-\alpha)\) = 3.36;转折 ridge/(γ+1) ≈ 60 |
| 09 | \(n_{img} = \lceil H/28\rceil\lceil W/28\rceil\);KV / encoder 输出 = 20 |
| 10 | BF16 单位舍入 2⁻⁸;16 B / 参数;累加噪声 u√k |
/llm-architecture-evolution-roadmap-from-gpt2.html;通关自测在系列总结