arganzheng · 2026-11-20
把 AI 放在边界内、把人放在边界上、把信任校准到与能力一致、诚实呈现不确定、量「有用」而不是「用了」。
%%{init: {"flowchart": {"wrappingWidth": 200}}}%%
flowchart TB
U1["01 场景选择"] --> U2["02 形态"]
U1 & U2 --> U3["03 人机分工与信任"]
U3 --> U4["04 不确定性呈现"]
U2 & U3 & U4 --> U5["05 产品指标与回流"]
锯齿状边界按任务划、评测集量——回撤的共同错误是把 demo 外推成产品
%%{init: {"flowchart": {"wrappingWidth": 480}}}%%
flowchart TB
S["候选场景"] --> D1{"可验证?"}
D1 -- "自动验" --> D2{"可撤销?"}
D1 -- "人判断" --> H["copilot"]
D2 -- "能回滚" --> AUTO["自主几十步"]
D2 -- "不可逆" --> GATE["确认门"]
AUTO & H & GATE --> W["价值×频率?(下图)"]
高频 × 高单次价值才值得做;低频低值宁可不做或先 demo
%%{init: {"flowchart": {"wrappingWidth": 220}}}%%
flowchart TB
AUTO["自主循环几十步"] & H["人在环内"] & GATE["确认门 / 仿真"] --> W{"价值 × 频率"}
W -- "高频 + 高值" --> GO["做"]
W -- "低频 / 低值" --> NO["不做,或先 demo 验证"]
边界内 +25%/+40%;边界外错误 +19 pp
| 证据 | 数 |
|---|---|
| 哈佛 / BCG 758 名顾问 | 边界内 +25% 速度 / +40% 质量;边界外错误 +19 pp——比不用更差 |
| Klarna | 700 人的工作 → 裁 1,500 → 回到混合;来自简单查询,20–30% 例外漏回成本 |
| 经验 | 「80% 的 demo 是 20% 的产品」 |
四种形态 = 人机六级——能到哪级由可验证/可撤销决定,不由模型强弱
%%{init: {"flowchart": {"wrappingWidth": 520}}}%%
flowchart TB
A["<b>copilot</b>:人在做,AI 在旁边建议(Tab 补全、对话框)——人每一步都看"] --> B["<b>同步 agent</b>:AI 多步执行,人在关键步审批(编辑器内改多个文件、看 diff)"]
B --> C["<b>后台 agent</b>:人提任务、走开、回来审 PR——人只看结果(on the loop)"]
C --> D["<b>自动化</b>:无人在环,只在可验证 + 可回滚的动作上,异常自动降级回环内"]
A -. "往上每一级把一类验证从人交给系统;能到哪一级由任务的可验证 / 可撤销决定,不由模型多强决定" .-> D
能到哪级由可验证/可撤销决定
| 形态 | 人在哪看结果 | 前提 |
|---|---|---|
| copilot | 逐条 | 无 |
| 同步 agent | 等它做完 | 步数可控 |
| 后台 agent | 落点(PR 是天然审阅落点) | 独立完成、进度通知、部分结果 |
| 自动化 | 不看 | 可验证 + 可逆 |
信任可能过度也可能不足——目标是校准到与能力一致
校准到与能力一致——过度与不足都是错
| 危险信号 | 含义 |
|---|---|
| 接受率趋 100% 而有错 | 过度信任 |
| 核对率趋零 | 自动化偏见 |
| 接受率三成、大量再编辑 | 正常——人在编辑 |
呈现三原则:诚实、可核对、可行动——置信度用行为不用数字
%%{init: {"flowchart": {"wrappingWidth": 480}}}%%
flowchart TB
subgraph P1[" "]
direction LR
M1["检索到的块(L3)"] --> U1["引用:定位到原文段落"]
end
subgraph P2[" "]
direction LR
M2["不确定 / 拒答(L2)"] --> U2["置信度用行为:「我不确定」、反问"]
end
subgraph P3[" "]
direction LR
M3["步骤与审批(L4)"] --> U3["步骤可见、审批带理由"]
end
subgraph P4[" "]
direction LR
M4["流式输出(L1)"] --> U4["首字 1 秒、进度可见"]
end
P1 ~~~ P2 ~~~ P3 ~~~ P4
诚实、可核对、可行动——置信度用行为
| 不要 | 要 |
|---|---|
| 「置信度 87%」 | 用行为:加引用、标注「未核实」、请求确认 |
| 「无法回答」 | 三部分拒答 |
| 展开全部步骤 | 分层:结论 → 关键步 → 全部 |
| 允许 / 拒绝两个按钮 | 三要素:做什么、影响什么、怎么撤 |
| 默认对话框 | 先问「为什么是对话框」 |
量「有用」不是「用了」:北极星一场景一个 + 护栏 + 反指标
%%{init: {"flowchart": {"wrappingWidth": 460}}}%%
flowchart TB
W["消息 +40% 或说失败"] --> Q{"「用了」还是「有用」?"}
Q --> N["<b>北极星</b>:真价值(解决率·合入率)"]
Q --> G["<b>护栏</b>:错误率·成本·越权"]
N & G --> F["<b>反指标</b>:重试涨·接受率 ~100%"]
F --> B["回流:坏结果 → 评测集"]
北极星一场景一个 + 护栏 + 反指标
| 场景 | 不是北极星 | 是 |
|---|---|---|
| 客服 | 处理时间 | 一次解决率 + 护栏(升级率) |
| 编码 | 接受率、消息数 | 合入且未回退的改动 |
| 写作 | 生成字数 | 保留到发布的比例 |
| 动词 | 篇 | 落点 |
|---|---|---|
| 放在边界内 | 01 | 按任务划边界、评测集量、审外推 |
| 放在边界上 | 02 | 落点、提案、六级分工 |
| 校准 | 03 | 接受 × 错误 × 核对象限 |
| 诚实呈现 | 04 | 三原则、行为不数字、拒答三部分 |
| 量有用 | 05 | 北极星 + 护栏 + 反指标;回流到评测集 |
/ai-product-and-experience.html;通关自测在系列总结