两种失败。过度信任:Air Canada 的乘客信了聊天机器人编造的退票政策(法院判赔);律师把模型虚构的判例提交给法庭;PocketOS 的开发者没看 agent 要执行什么就让它跑(《模型作为组件(01):失效模式——非确定性、幻觉、上下文与越界,把「模型会出错」拆成七条可检测的性质》)——人不再核对,把错误当真,这叫自动化偏见,也是第一篇”边界外用 AI 更差 19 个百分点”的机制。信任不足:功能做出来没人用,或用户每条都重做——价值归零。两种都是信任与实际能力不一致。产品的目标不是让用户尽量信任,是让信任校准到与能力一致:AI 擅长的地方放手,不擅长的地方核对。

这一篇讲两种失败怎么发生、采纳与修改的公开数据说明什么(Copilot 的建议接受率长期约三成、被接受的多数被再编辑——”人在编辑”是常态不是失败)、校准信任的八种手段、让不信任的用户开始用的方法、以及模型升级后信任要重新校准。

本篇要回答的核心问题是:

过度信任与信任不足各怎么发生,为什么目标是校准而不是最大化?1 采纳率与修改率的数据说明什么?2 校准信任的手段有哪些,怎么让不信任的用户开始用?3

一、总览

1. 校准

%%{init: {"flowchart": {"wrappingWidth": 230}}}%%
%% 图:信任校准的三态:过度信任、校准、信任不足,以及各自的升降手段
flowchart TB
    X["信任 vs 实际能力"] --> OT["<b>过度信任</b>(信任 > 能力)<br/>自动化偏见:多数时候对,人停止核对<br/>信号:核对率趋零而错误率不为零<br/>案例:Air Canada、虚构判例、PocketOS"]
    X --> OK["<b>校准</b>(信任 ≈ 能力):目标<br/>用户在 AI 擅长处放手、在边界外核对"]
    X --> UT["<b>信任不足</b>(信任 < 能力)<br/>功能没人用,或每条都重做<br/>信号:采纳率低、修改率接近 100%<br/>价值归零"]
    OT -- "「降」:显示不确定、引用可点开、<br/>关键动作强制确认" --> OK
    UT -- "「升」:低风险处先试、展示成功率、<br/>让用户看到它怎么做的" --> OK

信任与实际能力的校准

对角线是目标。产品设计的工作是把用户从对角线上下两侧推回对角线——手段不同(过度信任要”降”、信任不足要”升”),但都靠让用户看到真实的能力。

2. 本文的章节安排

第二章过度信任;第三章信任不足;第四章采纳与修改的数据;第五章校准的八种手段;第六章让不信任的用户开始用;第七章信任的动态;第八章实践建议。

二、过度信任

1. 机制

自动化偏见:当一个系统多数时候对,人会停止核对——每次核对都”浪费”了,直到那次错的。模型的输出流畅、自信、格式专业,比人的输出更像”对的”,加剧了它。哈佛 / BCG 实验里边界外 +19 个百分点错误率的来源就是这个:顾问信了自信但错的输出。

2. 信号

核对率趋零而错误率不为零:用户点开引用的比例、修改建议的比例、拒绝的比例都在下降,但评测集与在线 judge 显示错误还在——用户不看了。这是产品最危险的状态,且从采纳率上看像成功(100% 接受)。

%% 图:自动化偏见的形状——上线后 12 周里接受率从 60% 涨到 98%、用户点开引用核对的比例从 45% 掉到 4%,而在线 judge 测出的错误率一直在 6–8% 没变;从采纳率看像成功,实际是用户不再看了,错的那 7% 正在被原样接受
%%{init: {"xyChart": {"width": 760, "height": 340, "plotReservedSpacePercent": 60}, "themeVariables": {"xyChart": {"plotColorPalette": "#c0392b, #5b8fd6, #4d9a5c"}}}}%%
xychart-beta
    title "上线 12 周:接受率(红)· 核对率(蓝)· 错误率(绿)%"
    x-axis "周" [1, 2, 4, 6, 8, 10, 12]
    y-axis "%" 0 --> 100
    line [60, 70, 82, 90, 94, 97, 98]
    line [45, 38, 26, 15, 9, 6, 4]
    line [7, 8, 6, 7, 7, 8, 7]

红线往上、蓝线往下、绿线不动——三条线放在一张图上,「100% 接受」的成功就露馅了。

3. 代价最高的场景

不可逆动作(发送、付款、删除、部署——PocketOS)、对外承诺(Air Canada 的政策)、专业判断被非专业用户接受(法律、医疗、财务)。这些场景要结构性地要求核对(确认门、diff 审阅、二次确认——《工具、Agent 与 harness(05):权限、沙箱与安全边界》、《工具、Agent 与 harness(08):memory 与 human-in-the-loop》)而不是依赖用户自觉。

三、信任不足

1. 机制

第一次体验在边界外(用户问了 AI 不擅长的、得到错误答案)→ “这东西不行” → 不再用;或功能藏得深、要学 prompt 才能用;或输出不可核对,用户不敢用。

2. 信号

采纳率低且不涨;用户用了一次不再用(留存曲线陡——第五篇);用户把 AI 的输出全部重做(修改率接近 100%,与”再编辑”不同——那是重写);访谈里说”不信它”。

3. 代价

功能的价值归零,且团队会误判”AI 不行”去换模型——问题在第一次体验与可核对性,不在模型。

四、采纳与修改的数据

1. Copilot 的三成

GitHub Copilot 公开过的建议接受率量级长期在三成左右(不同研究与时期从两成到三成多),被接受的建议多数会被开发者再编辑。这两个数字常被误读为”AI 不行”。正确的读法:人在编辑是常态——copilot 形态里 AI 的建议是起点,人接受、改、拒绝是设计好的循环;三成接受 × 每次省几秒 × 每天几百次 = 真实的价值;接受后再编辑说明人在核对。

2. 危险的数字

接受率接近 100% 而错误率不为零——过度信任;修改率接近 100% 且是重写——信任不足或质量不足;核对率(点开引用、展开步骤)趋零——过度信任的早期信号。健康的形态是接受率中等、修改率中等且是编辑不是重写、核对率与任务风险相关(高风险任务核对率高)。

3. 按任务看

与第一篇同理:一个总的接受率掩盖分布——边界内任务接受率高且少改、边界外任务接受率高且错误多(危险)或接受率低(正常)。按任务类型看接受率 × 错误率 × 核对率,找出”接受高、错误高、核对低”的象限——那是过度信任的位置。

%% 图:按任务类型把接受率、错误率、核对率放进四个象限——接受高 · 错误低 · 核对低是边界内的健康放手(改地址);接受中 · 错误中 · 核对高是正常的人机协作(退款判定,人在看);接受低 · 错误任意是信任不足或质量不足(争议处理,用户全重写);接受高 · 错误高 · 核对低是过度信任的位置(政策解释里编造的条款被原样发出),最危险
flowchart TB
    subgraph HI["接受率高"]
        direction LR
        A["<b>错误低 · 核对低</b><br/>边界内的健康放手<br/>例:改地址 96% 对"] ~~~ B["<b>错误高 · 核对低</b><br/>✗ 过度信任,最危险<br/>例:政策解释里编造的条款被原样发出"]
    end
    subgraph LO["接受率中低"]
        direction LR
        C["<b>错误中 · 核对高</b><br/>正常的人机协作<br/>例:退款判定,人在看再改"] ~~~ D["<b>接受低 · 修改是重写</b><br/>信任不足或质量不足<br/>例:争议处理,用户全重做"]
    end
    HI ~~~ LO
    classDef ok fill:#eefaf0,stroke:#4d9a5c,color:#222
    classDef bad fill:#fdecea,stroke:#c0392b,color:#222
    classDef warn fill:#fff3e0,stroke:#c98a00,color:#222
    class A,C ok
    class B bad
    class D warn

五、校准的八种手段

信任校准的八种手段
手段 做什么 校准的方向 对应的层
显示依据
  • 引用可点开定位原文
  • “因为你之前说过…”
  • 工具返回的摘要可展开
降过度(能核对)、升不足(有来源) L3 引用正确率、《工具、Agent 与 harness(08):memory 与 human-in-the-loop》记忆来源、第四篇
显示不确定 不确定时给候选并说差别、说”我不确定”、拒答说缺什么 降过度 《Prompt 与上下文工程(03):结构化输出——约束解码、schema 设计与失败修复》出口、第四篇
可撤销 undo、git、草稿、提案先于生效 升不足(试错代价低)、降过度的代价 《工具、Agent 与 harness(08):memory 与 human-in-the-loop》中间物
可核对的呈现
  • diff 而不是整段替换
  • 结构化而不是一段话
  • 变更预览
降过度(看得见变了什么) 第四篇
结构性核对 不可逆动作的确认门、二次确认、审批带理由与影响 降过度(不依赖自觉) 《工具、Agent 与 harness(05):权限、沙箱与安全边界》
期望管理
  • onboarding 说清擅长与不擅长
  • 首次任务选边界内的
  • 发布说明说变了什么
升不足(第一次体验好)、降过度(知道边界) 第一篇
渐进自主 新用户先 copilot、建立信任后开 agent、稳定后自动化;按任务类型放开 双向 《工具、Agent 与 harness(08):memory 与 human-in-the-loop》六级、第二篇
把信号推给用户 agent 遇障碍要绕过、不确定、要做不可逆动作时明确说”这一步需要你” 降过度(在该核对的地方叫人) 《工具、Agent 与 harness(08):memory 与 human-in-the-loop》问人

八种手段的共同点:让用户看到真实的能力与真实的不确定。隐藏不确定(永远自信的输出)是过度信任的直接原因;隐藏能力(藏得深、不可核对)是信任不足的直接原因。

%% 图:八种手段各把用户往对角线的哪个方向推——过度信任要「降」:显示不确定、可核对的呈现(diff)、结构性核对(确认门)、把信号推给用户(「这一步需要你」);信任不足要「升」:可撤销(试错代价低)、期望管理(第一次体验在边界内);显示依据与渐进自主双向都起作用;共同点是让用户看到真实的能力与真实的不确定
flowchart LR
    subgraph DOWN["过度信任 → 降"]
        direction TB
        D1["显示不确定:候选 · 「我不确定」· 拒答说缺什么"] ~~~ D2["可核对的呈现:diff · 结构化 · 变更预览"] ~~~ D3["结构性核对:确认门 · 二次确认 · 审批带理由"] ~~~ D4["把信号推给用户:「这一步需要你」"]
    end
    T["<b>校准:信任 ≈ 能力</b><br/>放手与核对各在对的地方"]
    subgraph UP["信任不足 → 升"]
        direction TB
        U1["可撤销:undo · git · 草稿 · 提案先于生效"] ~~~ U2["期望管理:onboarding 说清擅长 / 不擅长<br/>首次任务选边界内"]
    end
    subgraph BOTH["双向"]
        direction TB
        B1["显示依据:引用可点开 · 「因为你说过…」"] ~~~ B2["渐进自主:copilot → agent → 自动化,按任务放开"]
    end
    DOWN --> T
    UP --> T
    BOTH --> T
    classDef d fill:#fdecea,stroke:#c0392b,color:#222
    classDef u fill:#eef6ff,stroke:#5b8fd6,color:#222
    classDef b fill:#fff7e0,stroke:#c98a00,color:#222
    classDef t fill:#eefaf0,stroke:#4d9a5c,color:#222
    class D1,D2,D3,D4 d
    class U1,U2 u
    class B1,B2 b
    class T t

六、让不信任的用户开始用

1. 第一次体验在边界内

onboarding 的引导任务选可验证、高频、AI 稳定的(第一篇的四维度);不要让用户第一次就问开放问题。

2. 低风险切入

先给建议不给结论、先草稿不发送、先只读不写——用户能试错。

3. 展示而不是宣传

同事的成功案例、具体的时间节省(第五篇的实测)、能看到别人怎么用。

4. 可核对

引用、diff、来源——用户能验证第一次的输出是对的,信任才开始建立。

5. 不要过度承诺

“AI 会替你做一切”制造的期望在第一次失败时崩塌(Duolingo 的反弹是组织层面的同一现象)。承诺边界内的。

七、信任的动态

1. 模型升级

能力变了(多数变强、有些任务变弱——《模型作为组件(05):选型——榜单的失真、自己的评测集与供应商的弃用周期》的评测集要重跑),用户的信任要重新校准:发布说明要说清变了什么、哪些任务现在更好、哪些要注意(《生产化与运营(06):发布工程——开关、钉版本、runbook 与 SLO》);升级后一段时间核对率会自然升(用户在试)——不要把它当退化。

2. 用户的学习

用户会学到边界(哪些问题它答得好),也会形成习惯(不看了);核对率随时间下降是自然的,产品要在高风险处结构性保持核对(第五章的手段 5),不依赖习惯。

3. 事故后

一次明显的错误让信任骤降,且不对称(建立慢、崩塌快);事故后的沟通(发生了什么、修了什么——《生产化与运营(06):发布工程——开关、钉版本、runbook 与 SLO》的事后分析对用户的版本)与后续一段时间的额外透明是修复的方法。

%% 图:信任的不对称——建立慢、崩塌快:一个用户用了 10 周信任从 20 爬到 80;第 11 周一次明显的错误(编造的政策被发给客户)让它一天掉回 30;之后即使质量不变,也要 6–8 周加额外的透明(事故说明、一段时间的引用与核对提示)才回到 70;模型升级也会让核对率短暂上升,那是用户在试,不是退化
%%{init: {"xyChart": {"width": 760, "height": 340, "plotReservedSpacePercent": 60}, "themeVariables": {"xyChart": {"plotColorPalette": "#c0392b, #5b8fd6, #4d9a5c"}}}}%%
xychart-beta
    title "一个用户的信任度(示意,0–100):建立慢、崩塌快"
    x-axis "周" [1, 3, 5, 7, 9, 10, 11, 12, 14, 16, 18]
    y-axis "信任度" 0 --> 100
    line [20, 35, 50, 62, 72, 80, 30, 38, 50, 60, 70]

八、实践建议

  1. 量三个数:接受率、修改率(区分编辑与重写)、核对率——按任务类型看,找”接受高、错误高、核对低”的象限。
  2. 不可逆与对外动作结构性核对:确认门、diff、二次确认——不依赖用户自觉。
  3. 写 onboarding 的”擅长 / 不擅长”,首次任务选边界内的。
  4. 把问人做成产品事件:”这一步需要你”有明确的 UI 与理由,不是日志里的一行。
  5. 渐进放开:新用户 copilot 起,按任务类型与评测升级;每级有退回。
  6. 发布说明说清能力变化;事故后额外透明。

九、本文小结

  • 两种失败:过度信任(自动化偏见——多数时候对让人停止核对;Air Canada、虚构判例、PocketOS;信号是核对率趋零而错误率不为零)与信任不足(第一次体验在边界外、藏得深、不可核对;信号是采纳低、留存陡、全部重写);目标是校准到与能力一致,不是最大化。
  • 数据:Copilot 接受率约三成、多数被再编辑——人在编辑是常态;危险的是接受率趋 100% 而有错、修改是重写、核对率趋零;按任务类型看接受 × 错误 × 核对。
  • 八种手段:显示依据、显示不确定、可撤销、可核对的呈现、结构性核对、期望管理、渐进自主、把信号推给用户——共同点是让用户看到真实的能力与不确定。
  • 让不信任的用户开始用:第一次在边界内、低风险切入、展示不宣传、可核对、不过度承诺。
  • 动态:模型升级要重新校准(发布说明);用户习惯让核对率自然下降,高风险处结构性保持;事故后信任崩塌快、修复靠透明。

十、自测

  1. 一个功能的建议接受率从 60% 涨到 97%,团队庆祝。评测集显示错误率仍有 6%。这是什么状态?怎么确认与处理?

    答案

    过度信任的信号:接受率趋 100% 而错误率不为零,说明 6% 的错误被用户直接接受了。确认:核对率(点开引用、展开)是否趋零、修改率是否趋零、按任务类型看哪类错误高。处理:高风险任务加结构性核对(确认门、diff)、显示不确定与依据、onboarding 重申边界;不要把 97% 当成功。详见第二章、第四章。

  2. Copilot 的建议接受率约三成、多数被再编辑,为什么不是失败?什么样的数字才是失败?

    答案

    copilot 形态里建议是起点,人接受、改、拒绝是设计好的循环;三成接受 × 每次省几秒 × 每天几百次是真实价值,再编辑说明人在核对(校准的信任)。失败的数字:接受率趋 100% 而有错(过度信任)、修改率趋 100% 且是重写(信任不足或质量不足)、核对率趋零、留存陡降。详见第四章。

  3. 一个内部知识库问答上线两周,周活从 40% 掉到 8%。访谈说”问了几次都不对就不用了”。诊断与修法?

    答案

    信任不足:第一次体验在边界外(用户问了开放问题或知识库没覆盖的),且可能没有引用让用户判断对错。修:onboarding 引导任务选边界内的(”查报销标准”这类有明确答案的)、拒答时说缺什么与下一步(而不是错答)、引用可点开、展示同事的成功用法、检查 L3 的召回与覆盖(可能真的没找到——那是 L3 的问题不是信任问题,用 《检索与知识接入(07):检索评测与运营》的三个数字分)。详见第三章、第六章。

  4. 为什么高风险动作的核对要”结构性”而不能依赖用户自觉?举两个结构性手段。

    答案

    自动化偏见让核对率随时间自然下降——系统多数时候对,用户会停止看;高风险处一次不看就是事故(PocketOS)。结构性手段:不可逆动作的确认门(带理由与影响范围,《工具、Agent 与 harness(05):权限、沙箱与安全边界》)、变更以 diff 呈现且需显式接受、提案先于生效(《工具、Agent 与 harness(08):memory 与 human-in-the-loop》)、二次确认(大额)。详见第二章、第五章。

  5. 模型升级后核对率从 20% 升到 45%。这是好事还是坏事?

    答案

    多半是自然的重新校准:能力变了用户在试、在看——不是退化。要看的是错误率是否同时变化(评测集重跑)与核对率是否在几周内回落;发布说明应说清变了什么帮用户更快校准。若核对率升伴随修改率与拒绝率大涨且评测显示某类任务变差,那是能力退化(《模型作为组件(05):选型——榜单的失真、自己的评测集与供应商的弃用周期》),要回滚或调整。详见第七章。

  1. 过度信任的机制是自动化偏见:系统多数时候对,人停止核对,直到那次错的;模型输出流畅自信加剧它;Air Canada 乘客信了编造的政策、律师提交虚构判例、PocketOS 开发者没看就让 agent 跑;哈佛 / BCG 边界外 +19 pp 错误的来源。信号是核对率(点开引用、修改、拒绝)趋零而错误率不为零——从接受率看像成功,最危险。代价最高在不可逆动作、对外承诺、非专业用户接受专业判断。信任不足的机制是第一次体验在边界外、功能藏得深、输出不可核对;信号是采纳低不涨、留存陡、修改是重写、访谈说不信;代价是价值归零且团队误判为模型问题。目标是校准而不是最大化——信任与实际能力一致,AI 擅长处放手、不擅长处核对——因为两侧都是失败,且校准的手段都是让用户看到真实的能力与不确定。详见第一章到第三章。 ↩

  2. Copilot 的建议接受率长期约三成、被接受的多数被再编辑——不是失败:copilot 形态里建议是起点,接受 / 改 / 拒绝是设计的循环,三成 × 每次几秒 × 每天几百次是真实价值,再编辑说明人在核对(校准)。危险的数字:接受率趋 100% 而错误率不为零(过度信任)、修改率趋 100% 且是重写而非编辑(信任不足或质量不足)、核对率趋零(过度信任的早期信号)。健康形态:接受率中等、修改是编辑、核对率与任务风险相关。要按任务类型看接受率 × 错误率 × 核对率,找”接受高、错误高、核对低”的象限——那是过度信任的位置;总的接受率掩盖边界内外的分布。详见第四章。 ↩

  3. 八种手段:显示依据(引用可点开、记忆来源、工具返回可展开)、显示不确定(候选与差别、”我不确定”、拒答说缺什么)、可撤销(undo、git、草稿、提案先于生效)、可核对的呈现(diff 不整段替换、结构化、变更预览)、结构性核对(不可逆动作确认门、二次确认、审批带理由与影响——不依赖自觉)、期望管理(onboarding 说擅长与不擅长、首次任务选边界内、发布说明说变化)、渐进自主(新用户 copilot 起、按任务类型与评测升级、每级可退回)、把信号推给用户(agent 遇障碍要绕过 / 不确定 / 不可逆时明确说”这一步需要你”);共同点是让用户看到真实的能力与不确定。让不信任的用户开始用:第一次体验在边界内(引导任务可验证高频稳定)、低风险切入(建议不结论、草稿不发送、只读不写)、展示而不宣传(同事案例、实测节省)、可核对(引用、diff)、不过度承诺。动态:模型升级要重新校准(发布说明;升级后核对率自然升不是退化)、用户习惯让核对率下降所以高风险处结构性保持、事故后崩塌快修复靠透明。详见第五章到第七章。 ↩

这篇对你有用?

本文由 arganzheng 创作,采用 CC BY 4.0 许可协议。在保留原文作者、署名以及完整原文链接(https://arganzheng.life/human-ai-division-of-labor-and-trust-calibration.html)的前提下,欢迎各种形式的转载、翻译或商业引用。


COMMENTS

评论存放在 GitHub Discussions, 用 GitHub 账号登录即可发表,支持 Markdown。 想针对正文某句话说?选中那段文字,点浮出的「评论」即可划线评论;觉得哪里写错了,发表时勾上「同时提交 Issue」。 有人回复你时 GitHub 会按你的通知设置发邮件,不用守在这里。

×