本文是《扩散模型推理基础设施：从一次去噪到一个生成服务》系列的第 9 篇（共九篇）。上一篇：三个引擎的对照导读——同一张图的请求在 SGLang Diffusion、vLLM-Omni 与 xDiT 里各走过什么。

前八篇给出了机制与它们在账上的位置。最后一篇把它们变成两件日常工作：上线前——给定模型、分辨率、步数、GPU 与 SLO，按什么顺序推出配置，怎样证明每一项优化的性能收益是真的、质量代价是可接受的；上线后——看什么指标，p99 抬升、图片出伪影、半夜 OOM 各先查什么。

扩散推理的评测有一个 LLM serving 没有的维度：多数优化是有损的（第二篇的 FP8 / INT4 / 8-bit attention、第三篇的跨步缓存、第四篇的稀疏 attention、第六篇的少步），而”损了多少”没有困惑度那样的单一数字——要对基线图算 PSNR / LPIPS、要在 prompt 集上算 ImageReward / GenEval、要人看。所以配置推导的每一步都带着一个质量预算，评测方法是配置方法的一半。

本篇要回答的核心问题是：

一个 FLUX 服务上线后 p99 抬升 / 图片出现伪影 / 半夜 OOM，各先查什么？¹ 开训前该采集哪些信号才能十分钟内定位？² 给定模型、GPU 与 SLO，配置该按什么顺序推？³

一、总览

1. 先说答案：推导顺序与信号清单

flowchart TB
    S0["输入：模型 · 分辨率 / 帧数 · 步数 · CFG · GPU 型号与数量 · 延迟 SLO · 吞吐目标 · 质量预算"] --> S1["① 算账（第一篇）
diffusion_ledger.py：三段 FLOPs / 显存 / 时间
→ 单卡放不放得下？单卡延迟离 SLO 多远？"]
    S1 --> S2["② 无损单卡（第二篇）
offload / VAE tiling → FA3 → compile 或 BCG → 预定义分辨率 warmup
基线：固定 seed 的 20 张图"]
    S2 --> S3["③ 有损 I（第二篇）
FP8 线性层 · SageAttention
门限 PSNR > 35 dB"]
    S3 --> S4["④ 有损 II（第三、四篇）
跨步缓存阈值扫描 · 稀疏 attention（视频）
门限按产品，PSNR 30 dB 上下 · 人工 A/B"]
    S4 --> S5{"延迟达到 SLO？"}
    S5 -- "否" --> S6["⑤ 多卡（第五篇）
NVLink：USP（+ CFG 并行）
PCIe / 以太网：+ PipeFusion
装不下：TP / FSDP"]
    S5 -- "否，且可换模型" --> S7["⑥ 少步（第六篇）
schnell / Turbo / DMD 蒸馏版
重做 ②③（缓存与 PipeFusion 失效）"]
    S5 -- "是" --> S8["⑦ serving（第七篇）
分池 · 实例数 = QPS × GPU·秒 · 三段是否分离 · job API"]
    S6 --> S8
    S7 --> S8
    S8 --> S9["⑧ 面板与告警（本篇）
每步 ms · 三段时间 · 缓存命中率 · 队列 · 显存峰值 · 质量抽检"]

    classDef ok fill:#eefaf0,stroke:#4d9a5c,color:#222
    classDef warn fill:#fff7e0,stroke:#c98a00,color:#222
    classDef bad fill:#fff0f0,stroke:#c0504d,color:#222
    class S1,S2,S8,S9 ok
    class S3,S6 warn
    class S4,S7 bad

三条原则：

• 无损在有损之前，有损按可见度排序：每一步对着固定 seed 的基线图测，PSNR 不达门限就停在上一步。
• 延迟不够先切卡、再换模型：多卡不改图（SP 是无损的，除了 reduce 顺序的漂移），换少步模型改风格与多样性。
• 实例数由 GPU·秒决定：单卡优化的每一项直接乘进卡数；多卡 SP 不减卡数。

2. 本文的章节安排

二、配置推导

1. 八步

2. 算例一：FLUX.1-dev 1024² 图像服务，8×H100 一台，SLO p99 3 s，100 QPS

① 单卡放得下（31.5 GiB），eager 6.7 s。② compile + FA3 → 3.9 s，基线。③ FP8 → 2.9 s，PSNR 36 dB，采用。④ TeaCache 扫 0.2 / 0.3 / 0.4：0.3 时 1.6×、PSNR p10 31 dB、A/B 通过 → 1.8 s。⑤ 单卡 1.8 s 在 SLO 内（排队另算），不切卡——DP 8。⑦ 实例数 = 100 × 1.8 × 1.3（余量）≈ 230 张卡，即 29 台；按形状分池（1024² 主池、其余形状小池）；同步 API；LoRA 按请求 unmerged。⑧ 面板。若 SLO 是 1 s：⑤ USP 4 → 0.7 s，但卡数不变（GPU·秒不变），或 ⑥ 换 schnell 0.8 s、卡数降到 100 × 0.8 × 1.3 ≈ 105。

3. 算例二：Wan2.1-14B 720p 5 秒视频服务，8×H100 若干台，SLO 2 分钟

① 单卡 24 分钟、激活 14 GiB，attention 72%。② 逐层 offload（免费）、FA3 → 17 分钟。③ FP8 只作用 28% → 15 分钟；SageAttention → 10 分钟。④ STA / SVG 稀疏 80% → 6.6 分钟；TeaCache 视频档 → 4 分钟。⑤ 8 卡 CFG 2 × Ulysses 4 vs Ulysses 8 实测，取快者 → 约 40 s；VAE patch 并行 8。⑦ 每台一个实例，实例数 = QPS × 320 GPU·秒 / 8；异步 /v1/videos；VAE 分 stage 或 patch 并行。若允许 ⑥：FastWan（VSA + DMD 3 步）→ 单卡几十秒，改为 DP。

4. 算例三：一张 RTX 4090 跑 FLUX.1-dev

① 放不下（31.5 > 24），eager 需 offload 约 40 s。② 模型级 offload + VAE tiling → 跑起来；compile → 33 s。③ 4090 无 FP8 优势（Ada 有 FP8 Tensor Core，但 SGLang / diffusers 的 FP8 路径主要针对 Hopper），跳过。④ SVDQuant INT4（Nunchaku）→ 6.5 GiB 常驻、约 12 s、PSNR 30 dB；TeaCache 0.4 → 7 s。⑥ schnell + INT4 → 2 s。

三、性能评测

1. 规则

2. GPU 利用率的陷阱

nvidia-smi 的 GPU-Util 是”有 kernel 在跑的时间比例”，eager 下几百个小 kernel 也能把它打到 95%——它不度量 MFU。看 MFU 要用账：每步 FLOPs / (每步秒 × 峰值)。FLUX eager 的 GPU-Util 接近 100%、MFU 0.31；compile 后 GPU-Util 差不多、MFU 0.49。同样，SP 多卡下每卡 GPU-Util 高不代表没有在等 all-to-all——NCCL kernel 也算”在跑”。诊断用 profiler 里的 kernel 分类（GEMM / attention / NCCL / 其他）与 GPU idle gap。

3. 报告的最小格式

模型 · 形状 · 步数 · CFG · 引擎与版本 · 后端 · 并行度 · 精度 · 缓存参数 · GPU 型号与数量 · 驱动 / CUDA
每步 ms（中位数，n=…）· 三段 ms · 端到端 s · 峰值显存 GiB · 吞吐 张/s/卡（并发 k）
对基线：PSNR / SSIM / LPIPS（20 张，p50 / p10）· 抽检图链接

四、质量评测

1. 三个层次

2. FID 为什么不够

FID 比较两组图的 Inception 特征分布，对单张图的细节变化（缓存伪影、量化的纹理、文字笔画粘连）几乎不敏感，对模式坍缩（少步模型多样性下降）也不敏感；它需要几千张图才稳定。它适合评”模型 A vs 模型 B”，不适合评”同一个模型开不开某项优化”。本系列的有损优化全部用对基线图的度量 + prompt 集上的偏好模型 + 人工。

3. 视频

逐帧 PSNR / LPIPS 之外要看时间一致性：帧间光流一致性、闪烁指标（VBench 的 temporal flickering、motion smoothness 分项），以及运动幅度（稀疏 attention 与缓存都倾向于让运动变小——静态帧看不出、动态片段明显）。SGLang 的 --quality high 门限对视频是 SSIM 0.92 / 24 dB（图像 0.95 / 28 dB），且要求报最差帧而不只是平均。

4. 阈值扫描曲线

每个有损选项都有一个连续参数（缓存阈值、稀疏度、量化位宽 / rank），评测的产出是一条”加速比—质量”曲线（第三篇第五章的形状）与在质量预算处的工作点。曲线要按模型 × 形状 × 步数各测：同一阈值在 50 步与 20 步下命中率不同、在 512² 与 2048² 下伪影不同。工作点存进配置（SGLang 的 --batching-config 式的按形状规则、vLLM-Omni 的 cache config），面板上抽检（第七章）。

五、确定性

同 seed 应当同图——扩散推理是确定性的，除了下面这些会让它漂移的地方：

结论：同一部署内确定、跨部署不保证。基线图要与部署配置一起存；每次改配置（并行度、编译、版本）重建基线再做 A/B，否则会把配置漂移当成优化的质量损失。

六、常见故障

七、可观测

1. 面板

2. 告警

• 每步 ms 相对基线 +20%（同形状）；
• 缓存命中率相对基线 ±30%；
• 队列估算等待 > SLO 的一半（扩容）；
• 任一卡峰值显存 > 90%；
• 质量抽检 PSNR < 门限 − 3 dB；
• 重编译次数 > 0（服务形状被突破）；
• rank 间每步时间差 > 10%。

3. 故障注入

上线前对练手服务做三次：（1）把缓存阈值调到质量门限之外，看质量抽检是否报警；（2）发一批非预定义分辨率，看重编译告警与 p99；（3）关掉 VAE tiling 发 2048²，看显存告警与 OOM 处理（请求失败而不是实例崩）。三次都能在面板上十分钟内定位，值班手册才算写完。

八、系列总结

1. 九篇的账

全系列围绕第一篇的一张账：

2. 与 LLM serving 的对照（全系列）

3. 三种能力

读完九篇，面对一个生成模型的推理任务应当能：算账——给定模型、形状、步数、硬件，算出三段的 FLOPs / 显存 / 时间，判断瓶颈，预估每类优化能换回多少；选型与配置——为服务选引擎、定并行度、决定开哪些加速与它们的质量预算，并说出每个选择在账上的依据；运维——设计评测、确定性、监控与告警，让每张图的成本与质量都可解释。

这是 AI-Infra 推理主线的另一半。同一套 kernel、同一套并行组的写法、同两个 serving 框架，因为负载从 memory-bound 换成了 compute-bound，几乎每一个系统答案都换了——而当视频走向自回归，答案又开始换回来。

九、自测

1. FLUX 服务的质量抽检 PSNR 从 36 dB 掉到 31 dB，性能面板一切正常，没有改过配置。列出三个可能原因与各自的第一个检查。

   答案

   （1）依赖 / 镜像升级改变了算子实现（cuBLAS、FA 版本）——查部署版本与基线是否同一镜像；（2）跨步缓存的命中率随 prompt 分布变化上升（自适应阈值下更多步被跳）——查缓存命中率面板；（3）某个 rank 或某个实例的 FP8 scale / 量化权重损坏、或并行度变了（自动扩缩到不同卡数的实例）——按实例分组看抽检 PSNR。性能面板看不出质量回归，所以抽检是独立的面板。详见第五章、第七章。

2. 为什么评”开不开 TeaCache”不能用 FID？该用什么？

   答案

   FID 比较两组图的 Inception 特征分布，对单图细节（缓存导致的纹理模糊、文字粘连、颜色偏移）不敏感，需要几千张才稳定，且不反映模式坍缩。应对同 seed 基线图算 PSNR / SSIM / LPIPS（p50 与 p10），在 prompt 集上算偏好模型分（ImageReward / HPSv2）与 GenEval 组合正确性，最后人工 A/B；产出一条阈值—质量曲线并取质量预算内的工作点。详见第四章。

3. 一个 8 卡 USP 的 Wan 服务，每步时间正常，但 rank 3 的每步时间比其他 rank 多 15%，整体每步被它拖慢。可能原因？

   答案

   straggler：rank 3 的卡降频 / 温度高 / 有其他进程；SP 切分不均（\(N\) 不整除 \(p\)，rank 3 多拿了 padding 或多一块）；rank 3 的 NCCL 链路（NVLink 拓扑上离得远、或落到 PCIe）；缓存决策不一致导致 rank 3 走了全算路径而其他 rank 复用（若决策未全局同步——这会更严重地表现为 hang 或错图）。先看 nvidia-smi 的频率与进程、再看 profiler 里该 rank 的 NCCL 等待时间。详见第六章、第七章。

4. 给定：Qwen-Image（20B，CFG，50 步），4×H100，SLO p99 5 s，允许有损但 PSNR ≥ 33 dB。按推导顺序给出配置与预期。

   答案

   ① 账：单卡 52.5 GiB 放得下，eager 每步 352 ms × 50 = 17.6 s（\(\eta\) 0.45）。② compile（或 BCG，Qwen-Image 60 层小算子多）+ FA3 → 约 12 s。③ FP8 → 约 9 s，PSNR ~36 通过。④ 缓存扫描：阈值到 PSNR 33 dB 处约 1.5× → 6 s。⑤ 仍超 SLO：4 卡 CFG 2 × Ulysses 2 vs Ulysses 4 实测，约 2.6× → 2.3 s，达到。⑦ 卡数 = QPS × 9 GPU·秒（多卡不减 GPU·秒）。若允许 ⑥ 换蒸馏版则单卡可达 SLO、改 DP。详见第二章。

5. 上线前的三次故障注入各验证什么？

   答案

   （1）缓存阈值调出门限 → 验证质量抽检面板能独立于性能面板发现质量回归；（2）发非预定义分辨率 → 验证重编译告警与 p99 面板，以及形状限制 / warmup 列表是否完整；（3）关 VAE tiling 发 2048² → 验证显存告警、OOM 时请求失败而实例不崩、VAE 解码尖峰在显存面板可见。三次都能十分钟内定位，值班手册才完整。详见第七章。

• 上一篇
  扩散模型推理基础设施（08）：三个引擎的对照导读——同一张图的请求在 SGLang Diffusion、vLLM-Omni 与 xDiT 里各走过什么