评测集有了，每条的输出怎么判对错？三层：规则（确定、免费、优先）、LLM-as-judge（需要判断的地方）、人（校准、抽检、裁决）。这一篇的重点是第二层——因为它是 2025–2026 年的默认手段，也是最容易被误信的一层。

judge 是一个测量仪器，仪器要先被测量。2026 年两项大规模研究给出了数字：21 个 judge、三个基准、约 54 万次判定的系统评估发现——用精确匹配一致率报告 judge 质量相对 Cohen’s kappa 普遍虚高 33–41 个百分点（没有校正机遇一致）；同一批 judge 的排名在不同基准间移动多达 14 位；两个生产部署的 judge 同时有 >0.95 的重测信度与 >0.10 的位置偏差——一致但有偏。另一项对九种去偏策略的对比发现：风格偏差（偏爱 markdown 外观，0.10–0.76）是最大的一类，远超位置偏差（≤ 0.04）；冗长偏差因模型而异（Llama 与 Gemini 偏长 +0.24 到 +0.44，Claude Sonnet 4 偏短 −0.12，GPT-4o 中性）；一个中档模型加对的去偏策略（Gemini 2.5 Flash，κ = 0.549，约 0.001 美元 / 次）胜过前沿 judge 且便宜约 15 倍。这一篇把这些数字变成一套校准协议：在用 judge 做门禁之前，量它的 kappa、四类偏差、敏感度与特异度。

本篇要回答的核心问题是：

哪些能用规则评、哪些要 judge、哪些要人？¹ judge 的四类偏差各多大，为什么”一致”不等于”正确”？² 校准一个 judge 的最小协议是什么，怎么决定它能不能做门禁？³

一、总览

1. 三层评分

%%{init: {"flowchart": {"wrappingWidth": 200}}}%%
%% 图：三层评分：能用规则的不用 judge、能用 judge 的不用人，judge 先校准
flowchart TB
    O["一条输出"] --> R{"能用<b>规则</b>判吗？<br/>字段齐不齐、枚举、容差、引用 id 是否存在"}
    R -- "能：确定、免费" --> RR["规则打分"]
    R -- "不能：「解释清楚吗」「忠实吗」" --> J["<b>LLM-as-judge</b> 打分<br/>rubric、pairwise 换序去偏"]
    J --> C{"judge 校准过吗？"}
    C -- "抽 30–50 条与人比，一致率 ≥ 85%" --> OK["可用"]
    C -- "一致率不够" --> H["<b>人</b>：重标、改 rubric、换 judge 模型"]
    H --> J
    OK -. "每次改 judge 的 prompt / 模型重新校准；<br/>人之间也要量一致率（两个 80% 正确的人只有 68% 一致）" .-> C

三层评分的对照

层	评什么	特点	成本
规则	格式、schema、精确 / 集合匹配、数值容差、正则、测试通过、引用存在性、长度、禁用词	确定、可复现、零偏差	零
LLM-as-judge	相关性、忠实度、有用性、风格与语气、按 rubric 打分、pairwise 比较、轨迹合理性	可扩展、便宜、有偏差要校准	每次 0.001–0.02 美元
人	校准集标注、抽检、争议裁决、新失效模式发现、rubric 制定	最终标准；慢、贵、也不完全一致	每条几分钟到几十分钟

原则：能用规则的不用 judge，能用 judge 的不用人——但 judge 用之前要用人校准，人之间也要量一致率。

2. 本文的章节安排

第二章规则；第三章 judge 的四类偏差与报告陷阱；第四章校准协议；第五章 judge 的设计（rubric、pairwise vs pointwise、去偏、选型）；第六章人的位置；第七章实践建议。

二、规则

1. 能用规则的比想象多

结构化输出（《Prompt 与上下文工程（03）：结构化输出——约束解码、schema 设计与失败修复》）让大量判定变成规则：字段齐不齐、枚举对不对、数值在容差内、日期格式、引用的条目 id 是否存在于检索结果里、拒答出口是否被正确使用（该拒的用了、不该拒的没用）、代码是否编译 / 测试是否通过、agent 是否越权（沙箱事件计数）、步数与成本是否在预算内。把期望设计成可规则判定的形态，是评测集（第一篇）与输出 schema（《Prompt 与上下文工程（03）：结构化输出——约束解码、schema 设计与失败修复》）联合设计的结果。

2. 规则的边界

规则判不了”这段解释清楚吗”、”这个摘要忠实吗”、”这条回复的语气合适吗”、”这个轨迹走了弯路吗”。这些交给 judge——但先问一遍能不能拆出规则部分（摘要里的每个数字是否出现在原文里是规则；摘要是否抓住重点是 judge）。

%% 图：把一条「评这个摘要」的期望拆成规则部分与 judge 部分——数字是否都出现在原文、引用的条目 id 是否存在、长度是否在范围、有没有禁用词、schema 是否合法，全是规则（免费、确定）；只剩「抓住重点了吗」「忠实吗」交给 judge；能拆出来的越多，judge 要管的越少、偏差影响越小
flowchart LR
    Q["评：这段财报摘要好不好"] --> R["规则部分（免费 · 确定）"]
    Q --> J["judge 部分（校准过）"]
    R --> R1["摘要里的每个数字都出现在原文里？"]
    R --> R2["引用的段落 id 在检索结果里存在？"]
    R --> R3["长度 ≤ 200 字？无禁用词？schema 合法？"]
    R --> R4["拒答出口：该拒的拒了、不该拒的没拒？"]
    J --> J1["抓住了重点吗？（rubric 1–5）"]
    J --> J2["有没有原文没说的推断？（忠实度）"]
    classDef q fill:#eef6ff,stroke:#5b8fd6,color:#222
    classDef r fill:#eefaf0,stroke:#4d9a5c,color:#222
    classDef j fill:#fff7e0,stroke:#c98a00,color:#222
    class Q q
    class R,R1,R2,R3,R4 r
    class J,J1,J2 j

三、judge 的偏差

1. 四类

judge 的四类偏差

偏差	表现	2026 年的数字	测法
位置	pairwise 时偏爱先出现（或后出现）的候选	两个生产部署的 judge >0.10；另一项研究 ≤ 0.04——因 judge 与设置而异	交换顺序重评，看翻转率
风格	偏爱 markdown、列表、标题等结构化外观，而非纯文本	0.10–0.76，最大的一类，且研究最少	内容相同、格式不同的对照
冗长	偏爱更长（或更短）的回答	异质：Llama / Gemini +0.24 到 +0.44（偏长），Claude Sonnet 4 −0.12（偏短），GPT-4o −0.04（中性）；截断对照下所有模型都能正确选完整的（0.88–1.00），所以不只是长度效应	长度匹配的改写对照
自我偏好	偏爱同家族模型的输出	存在且因家族而异	遮蔽来源 + 跨家族 judge 对照

另有两类不是”偏好”而是仪器特性：校准偏移（judge 的通过率整体高于或低于真实通过率——用敏感度 / 特异度反推）与 rubric 漂移（长 rubric 在批量评估中被逐渐忽略——交换测试看不见，要固定 rubric 并抽检）。

2. 报告的陷阱

• 精确匹配一致率虚高：judge 与人一致 85% 听起来很好，但如果 80% 的用例是”好”，随机猜也有高一致率。Cohen’s kappa 校正机遇一致；研究里 kappa 相对精确匹配普遍低 33–41 个百分点。报 kappa，不报一致率。
• 一致不是正确：重测信度 >0.95（同一输入两次判定一致）与位置偏差 >0.10 并存——judge 稳定地错。稳定性是必要条件不是充分条件。
• 排名不迁移：judge 在一个基准上的排名到另一个基准移动多达 14 位——一个”好 judge”是相对任务的；你的任务要自己校准。
• pairwise 更敏感也更脆：嵌入一个干扰特征让 pairwise 偏好翻转约 35%，pointwise 只有 9%（Tripathi 等 2025）。

%% 图：为什么一致率虚高——80% 的用例本来就是「好」，一个永远说「好」的 judge 与人的一致率也有 80%；观察到的 88% 里大部分是机遇一致，Cohen's kappa 校正后只有 0.4 左右（研究里 kappa 相对精确匹配普遍低 33–41 个百分点）；报 kappa 不报一致率
%%{init: {"xyChart": {"width": 760, "height": 340, "plotReservedSpacePercent": 60}, "themeVariables": {"xyChart": {"plotColorPalette": "#c0392b, #5b8fd6, #4d9a5c"}}}}%%
xychart-beta
    title "同一个 judge 的两种报法（示意：80% 用例为「好」）"
    x-axis ["永远说「好」的 judge", "实际的 judge"]
    y-axis "%" 0 --> 100
    bar [80, 88]
    bar [0, 40]

红柱是与人的精确匹配一致率，蓝柱是 Cohen’s kappa（× 100）。一个什么都不看的 judge 也有 80% 的一致率；实际 judge 的 88% 校正掉机遇一致后只剩 κ ≈ 0.40——够不上做门禁的 0.61。

四、校准协议

1. 最小协议

在用一个 judge 做任何门禁之前：

judge 校准的最小协议

步	做什么	通过线
1 校准集	人工标注几十到几百条（第一篇的标注组织），覆盖各类型与好坏分布	双标注者 kappa ≥ 0.6（否则先修指南）
2 一致性	judge 评校准集，与人比 Cohen’s kappa，报区间	≥ 0.61（substantial）；< 0.4 不能用
3 位置	pairwise 时每对交换顺序再评，只保留双向一致的判定	翻转率的区间上界低于你要区分的最小差距
4 长度	对决定性的对做长度匹配的改写再评	胜率变化的 McNemar 区间含零
5 风格	内容相同、格式化 vs 纯文本对照	偏好差在噪声内，否则 rubric 里明确”忽略格式”
6 来源	遮蔽模型身份；加一个跨家族 judge 或 jury 评同一批	同家族与跨家族判定无显著不一致
7 校准偏移	从校准集算 judge 的敏感度与特异度，反推真实通过率	报校正后的通过率与区间（含校准集与测试集的方差）
8 rubric 固定	rubric 版本化；批量评估中抽样人核	抽检一致率不随批次下降

任何一步没过：该轴上的结论”建在假设上”；决定性的对送 jury（多个 judge 投票）或人。

%% 图：judge 校准的八步协议——先有人的校准集（双标注者 κ ≥ 0.6，否则先修指南），再量 judge 与人的 kappa（≥ 0.61 才能用），然后逐一测四类偏差（交换顺序、长度匹配、格式对照、遮蔽来源 + 跨家族），算敏感度 / 特异度反推真实通过率，最后固定 rubric 并持续抽检；judge 模型升级、rubric 改、任务分布变则重校
flowchart TB
    S1["① 校准集：人工标几十到几百条<br/>双标注者 κ ≥ 0.6，否则先修标注指南"] --> S2["② judge 评校准集，与人比 Cohen's kappa<br/>≥ 0.61 可用 · < 0.4 不能用"]
    S2 --> S3["③ 位置：每对交换顺序再评<br/>只保留双向一致"]
    S3 --> S4["④ 长度：长度匹配的改写对照"]
    S4 --> S5["⑤ 风格：内容相同、格式化 vs 纯文本"]
    S5 --> S6["⑥ 来源：遮蔽模型身份 + 跨家族 judge / jury"]
    S6 --> S7["⑦ 校准偏移：从校准集算敏感度 s 与特异度 t<br/>p = (p_obs − (1−t)) / (s − (1−t))"]
    S7 --> S8["⑧ rubric 版本化 · 批量评估中抽样人核"]
    S8 -->|"judge 模型升级 · rubric 改 · 任务分布变"| S1
    S2 -.->|"没过"| X["该轴结论「建在假设上」<br/>决定性的对送 jury 或人"]
    classDef step fill:#fff7e0,stroke:#c98a00,color:#222
    classDef gate fill:#eef6ff,stroke:#5b8fd6,color:#222
    classDef bad fill:#fdecea,stroke:#c0392b,color:#222
    class S1,S3,S4,S5,S6,S7,S8 step
    class S2 gate
    class X bad

2. 校准偏移的算术

judge 对”好”的敏感度 \(s\)（真好被判好的比例）、特异度 \(t\)（真坏被判坏的比例），观察到的通过率 \(p_{obs}\)，真实通过率

\[p = \frac{p_{obs} - (1 - t)}{s - (1 - t)}\]

例：\(s = 0.9\)、\(t = 0.8\)、\(p_{obs} = 0.85\)，则 \(p = (0.85 - 0.2) / (0.9 - 0.2) \approx 0.93\)——judge 偏严；反过来 \(t\) 低（把坏判成好）时 \(p\) 比 \(p_{obs}\) 低。门禁比较两个版本时偏移相同可以抵消，但报告绝对通过率时必须校正。

%% 图：校准偏移的算术——1,000 条里真好 930 条、真坏 70 条；judge 敏感度 0.9 把 837 条真好判好、93 条判坏，特异度 0.8 把 56 条真坏判坏、14 条判好；观察到的通过率 (837 + 14) / 1000 = 0.85，比真实的 0.93 低 8 个点——这个 judge 偏严；报绝对通过率时必须反推校正
flowchart TB
    T["1,000 条<br/>真实：930 好 · 70 坏（p = 0.93）"] --> G["真好 930"] & B["真坏 70"]
    G -->|"s = 0.9"| G1["判好 837"]
    G -->|"1 − s"| G2["判坏 93 ✗ 漏判"]
    B -->|"t = 0.8"| B1["判坏 56"]
    B -->|"1 − t"| B2["判好 14 ✗ 误放"]
    G1 & B2 --> OBS["观察到的通过率<br/>(837 + 14) / 1000 = 0.85"]
    OBS --> COR["反推：p = (0.85 − 0.2) / (0.9 − 0.2) = 0.93 ✓"]
    classDef n fill:#fff7e0,stroke:#c98a00,color:#222
    classDef ok fill:#eefaf0,stroke:#4d9a5c,color:#222
    classDef bad fill:#fdecea,stroke:#c0392b,color:#222
    classDef r fill:#eef6ff,stroke:#5b8fd6,color:#222
    class T,G,B n
    class G1,B1,COR ok
    class G2,B2 bad
    class OBS r

3. 多久重校

judge 的模型升级、rubric 改动、任务分布变化（新类型的用例）——任一发生就重校。每季度用新采的用例补校准集。

五、judge 的设计

1. rubric

judge 的 prompt 是一份 rubric：判什么、每个分数级的定义、明确要忽略的（格式、长度、礼貌用语）、给出理由再给分（推理前置——《Prompt 与上下文工程（03）：结构化输出——约束解码、schema 设计与失败修复》）、输出结构化（分数 + 理由 + 引用的证据）。rubric 短而具体优于长而全（长的会漂移）。rubric 是 prompt，按 《Prompt 与上下文工程（06）：prompt 当代码管——版本、评测、A/B，以及上下文 vs 检索》版本化。

2. pointwise 还是 pairwise

pointwise 与 pairwise 的对照

	pointwise（单个打分）	pairwise（两两比较）
敏感度	低（分数粗）	高（能分出细微差别）
对干扰的鲁棒性	高（9% 翻转）	低（35%）；位置偏差
用途	门禁（绝对通过率、校准偏移可算）	模型 / prompt 对比（谁更好）
成本	n 次	n 次（对基线）到 n²

门禁用 pointwise + 校准；A/B 与选型用 pairwise + 交换顺序 + 长度匹配。

3. 去偏

实证有效的：交换顺序取双向一致、长度匹配、rubric 里明确忽略格式、遮蔽来源、多 judge 投票（jury）、要求先给理由、few-shot 校准例（含好坏边界）。组合策略的收益显著且能过多重比较校正（研究里 Claude +11.5 pp、Flash +7.5 pp）。

4. 选 judge

结论与 《模型作为组件（05）：选型——榜单的失真、自己的评测集与供应商的弃用周期》同构：去偏策略比 judge 的大小重要——Gemini 2.5 Flash + 组合去偏（κ = 0.549，≈ 0.001 美元）胜过 Claude Sonnet 4 同策略（≈ 0.015 美元），便宜 15 倍。选法：两三个候选在你的校准集上跑第四章的协议，选 kappa 高、偏差小、便宜的；避免与被评模型同家族（或至少加跨家族对照）；judge 的模型版本钉住（它也会静默变——第四篇）。

%% 图：去偏策略比 judge 的大小重要——Gemini 2.5 Flash 加组合去偏（交换顺序 · 长度匹配 · 忽略格式 · 遮蔽来源 · 先理由后分）κ = 0.549、每次约 0.001 美元；Claude Sonnet 4 同策略约 0.015 美元、κ 更低；中档模型 + 去偏比前沿模型便宜 15 倍且更准
%%{init: {"xyChart": {"width": 760, "height": 340, "plotReservedSpacePercent": 60}, "themeVariables": {"xyChart": {"plotColorPalette": "#c0392b, #5b8fd6, #4d9a5c"}}}}%%
xychart-beta
    title "judge 的 kappa（× 100）与每次成本（千分之一美元）——Sonnet 4 两柱为按文中增量反推的示意"
    x-axis ["Flash 无去偏", "Flash + 组合去偏", "Sonnet 4 无去偏", "Sonnet 4 + 组合去偏"]
    y-axis "κ × 100 / 成本（‰ 美元）" 0 --> 60
    bar [47, 55, 40, 52]
    bar [1, 1, 15, 15]

红柱是 kappa × 100（研究里的量级：组合去偏给 Flash +7.5 pp、给 Claude +11.5 pp），蓝柱是每次成本。同样加去偏，便宜 15 倍的 Flash 反而更准。

5. judge 的成本

100 条 × k = 5 × 每次 0.001–0.015 美元 = 0.5–7.5 美元一次全量评测；在线抽样 judge 按流量比例。judge 成本通常低于被评的生成成本，不是瓶颈；人工校准才是瓶颈——所以校准集要复用、重校要有触发条件而不是常态。

六、人的位置

1. 三件事

校准集标注（judge 的标准）、抽检（批量 judge 结果里抽 5–10% 人核，一致率进面板）、争议裁决（judge 不确定、jury 分歧、用户投诉的用例）。另加一件：发现新失效模式——人看轨迹时会注意到 rubric 没覆盖的问题，那是评测集与 rubric 演进的来源。

2. 人也要量

两个标注者的 kappa 低于 0.6 说明任务定义模糊——这时 judge 不稳不是 judge 的错。先修标注指南（第一篇），再谈 judge。

3. 成本与组织

专家时间是最贵的资源：把他们用在 rubric 制定、校准集、裁决上；常规抽检可以由训练过的标注者做；用户反馈作为弱标注补充。

七、实践建议

1. 先把能规则化的规则化：审一遍评测集的期望，能改成 schema / 集合 / 脚本判定的都改。
2. 标 100 条校准集（双标注者，kappa ≥ 0.6），跑第四章的八步协议，得到你的 judge 的 kappa、四类偏差、敏感度 / 特异度；写进评测文档。
3. 门禁用 pointwise + 校准后的通过率，对比用 pairwise + 交换 + 长度匹配。
4. 试两三个候选 judge（含一个中档模型 + 组合去偏），按 kappa 与成本选；钉版本。
5. rubric 短而具体、要求先理由后分数、忽略格式、版本化。
6. 抽检 5–10% 进面板；judge 模型升级、rubric 改、任务分布变时重校。

八、本文小结

• 三层：规则（确定免费优先）→ judge（需要判断处，先校准）→ 人（校准、抽检、裁决、发现）。
• judge 四类偏差：位置（>0.10 在部分生产 judge）、风格（0.10–0.76，最大且最少研究）、冗长（异质：有偏长有偏短有中性）、自我偏好；另有校准偏移与 rubric 漂移。
• 报告陷阱：精确匹配一致率相对 kappa 虚高 33–41 pp——报 kappa；重测 >0.95 与位置偏差 >0.10 并存——一致不是正确；排名跨基准移动 14 位——在自己的任务上校准；pairwise 对干扰翻转 35% vs pointwise 9%。
• 校准八步：校准集（双标 κ ≥ 0.6）→ kappa ≥ 0.61 → 交换顺序 → 长度匹配 → 格式对照 → 遮蔽来源 + 跨家族 → 敏感度 / 特异度反推 \(p = (p_{obs} - (1-t)) / (s - (1-t))\) → rubric 固定与抽检。
• 设计：rubric 短具体、先理由后分、忽略格式、版本化；门禁 pointwise、对比 pairwise；去偏组合显著；中档 + 去偏胜前沿且便宜 15 倍；钉 judge 版本。
• 人：三件事加发现新失效；人之间也要量 kappa；专家用在 rubric、校准、裁决。

九、自测

1. 一个 judge 与人工的精确匹配一致率 88%，团队据此用它做门禁。为什么这个数字不足以决定？该报什么？

   答案

   精确匹配未校正机遇一致：若 80% 用例本来就是”好”，随机判也有高一致率；研究里 kappa 相对精确匹配普遍低 33–41 pp，88% 的一致率可能对应 kappa 0.5 以下。该报 Cohen’s kappa 及区间（≥ 0.61 才 substantial），并跑位置、长度、风格、来源四项偏差测试与敏感度 / 特异度。详见第三章、第四章。

2. 一个 judge 同一输入评十次结果完全一致，但 pairwise 时交换顺序有 15% 的对翻转。它可靠吗？

   答案

   不可靠——这正是”一致但有偏”：重测信度高说明它稳定，位置翻转 15% 说明它稳定地受顺序影响。稳定是必要不充分。处理：只保留双向一致的判定、或用 pointwise、或换 judge；翻转率的区间上界要低于你要区分的最小差距。详见第三章。

3. judge 的敏感度 0.85、特异度 0.7，观察通过率 0.8。真实通过率约多少？这对门禁与对外汇报各意味着什么？

   答案

   \(p = (0.8 - 0.3) / (0.85 - 0.3) = 0.5 / 0.55 \approx 0.91\)。验算：\(0.91 \times 0.85 + 0.09 \times 0.3 \approx 0.80\)。judge 整体偏严——把 15% 的好判成坏、只把 30% 的坏判成好，净效果是观察通过率低于真实。门禁比较两个版本时偏移相同可抵消；对外汇报绝对通过率必须用校正值并带区间。详见第四章。

4. 团队想用 GPT-5.6 评 GPT-5.6 生成的输出与 Claude 生成的输出谁好。有什么风险，怎么做？

   答案

   自我偏好：judge 偏爱同家族的输出；加上风格偏差（两家默认格式不同）。做法：遮蔽来源、加一个跨家族 judge（或 jury）评同一批看是否显著不一致、rubric 明确忽略格式、pairwise 交换顺序、长度匹配对照；结论以跨家族一致的部分为准。详见第三章、第五章。

5. 为什么门禁推荐 pointwise 而模型对比推荐 pairwise？

   答案

   门禁要的是绝对通过率与可算的校准偏移（敏感度 / 特异度反推），pointwise 给单个分数、对干扰鲁棒（翻转 9%）；对比要的是分出细微差别，pairwise 更敏感，但对干扰翻转 35% 且有位置偏差，所以要配交换顺序与长度匹配。详见第五章。

---

• 上一篇
  评测、可观测与可追溯（01）：评测集——AI 应用的单元测试

COMMENTS

评论存放在 GitHub Discussions， 用 GitHub 账号登录即可发表，支持 Markdown。 想针对正文某句话说？选中那段文字，点浮出的「评论」即可划线评论；觉得哪里写错了，发表时勾上「同时提交 Issue」。 有人回复你时 GitHub 会按你的通知设置发邮件，不用守在这里。