AI代理设计中确保人类真正掌控而非形式化介入

智能体现在会在我们询问之前行动，并触及我们未授权的范围。如果没人对结果负责，仅有人工介入是不够的。设计时需考虑以下几点。

过去，智能体等待提示词，因为大家都认为 AI 只是聊天工具。如今，它们在我们开会时分类收件箱、更新记录并发送消息。这正是它们的价值所在，也是问题开始的地方。

因此，大多数智能体团队都会遇到同样的问题：

• 智能体应该在用户询问之前行动吗？
• 当智能体做了超出任何人授权的事情时，谁该为这个决定承担责任？

标准答案是确认对话框。加上人工点击，问责问题本应消失。实际上它只是转移了，落在信息最少且对结果控制力最弱的人身上。

这些都不是新鲜事。

Eric Horvitz 在 1999 年建模了软件何时应独立行动。早在此十六年前，Lisanne Bainbridge 就在 Ironies of Automation 中警告说，自动化大部分工作会让人承担最难的部分——监督。新变化在于规模：Gartner 预测到 2028 年，至少 15% 的日常决策将由智能体自主做出。

我是人工智能的辩护者，但我承认它在某些方面并不擅长。

主动性问题大多是个诱饵。

伤害人们的不是主动性，而是触达范围。更好的问题是触达测试：智能体能接触什么，人们能否将其恢复原状？答案也决定了责任归属。

设定智能体触达范围的人对其在该范围内的行为负责，任何确认点击都不应将此责任转移给点击者。

停止数点击次数

确认按钮只记录了有人在场的状态；它无法说明他们是否阅读了自己批准的内容。

Kathleen Mosier 和 Linda Skitka 在 1990 年代提出了自动化偏见这一概念，它有两种形式。执行错误表现为跟随机器的错误建议，遗漏错误则表现为忽略机器从未标记的问题。

在 Skitka 1998 年的 NASA 报告 Automation: Decision Aid or Decision Maker? 中，使用辅助工具的人在工具出错时的准确率为 65%，而未使用工具的人准确率为 97%。我在 UX Guidelines 中的 Automation Bias 条目指出，遗漏是更安静的失败，因为屏幕上没有任何东西要求被怀疑。

Anthropic 对其自身编码智能体的研究 Measuring AI agent autonomy in practice 发现，较新的用户在约 20% 的会话中运行全自动批准模式，而有经验的用户这一比例超过 40%。

这些有经验的用户也更频繁地中断操作，在约 9% 的回合中进行干预，而新用户仅为 5%。

批准是一种仪式。中断是一种判断，这是好事。

Anthropic 自己的结论是，强制人类批准每一步会增加摩擦，但不一定增加安全性。逐次点击的版本类似于通常归功于 Bruce Schneier 的安全剧场：可见、令人安心，却对智能体随后能触达多远视而不见。人们仍应留在循环中，但应在判断站得住脚的地方：观看一个他们可以停止的运行过程，而不是预先签署一份他们读不完的清单。

Follow the Blame

Madeleine Clare Elish 在 2019 年提出了这个概念。在 Moral Crumple Zones 中，她展示了责任如何被归咎于离事件最近的人类操作员，即使该人对自动化系统的行为几乎没有控制权。

汽车的溃缩区保护驾驶员。道德版本保护系统，而操作员吸收 冲击。

这是最具说服力的例子。2018 年 3 月，一辆自动驾驶 Uber 测试车在亚利桑那州坦佩撞死并致死了 Elaine Herzberg。安全驾驶员 Rafaela Vasquez 坐在方向盘后，按照程序定义的每一个标准都在回路中。诚然，Vasquez 当时正在用手机看电视，但这进一步说明了 观点。

根据 CNN 关于 Uber 测试驾驶员 2023 年认罪 的报道，联邦安全委员会发现 Vasquez 在行程中超过三分之一的时间移开了视线，并且 Uber 内部不健全的安全文化也是促成因素之一。Uber 未面临刑事指控，而驾驶员承认了危害罪，并被判处三年监督缓刑。

她为人类缺失的回路付出了代价。

事实证明，处于回路中主要意味着离崩溃最近。

这并不为分心开脱，但它显示了当系统围绕一个它不支持的观察者构建时，问责流向何处。在第 41 步（共 60 步）点击批准的审核员成为了溃缩区，而决定第 41 步不需要更强关卡的团队则置身事外。

Price the Unasked Act

Eric Horvitz 1999 年的论文 Principles of Mixed-Initiative User Interfaces 仍然界定了软件应在何时主动行动。他的规则是朴素形式的决策理论：仅当预期价值高于无所作为时才行动。

他的数学公式隐含了一个变量：行动是否可撤销。起草回复和发送回复具有相同的正确概率，但错误的成本却截然不同。

单向门 vs. 双向门：主动性应与可逆性成正比，而非与置信度成正比。

准备、起草、标记和暂存工作的代理是在用户仍可编辑和撤销的空间内扩展其能力范围。而发送、删除、支付或提交的代理则是在消耗用户的权限。

行动所需的准确性也应塑造交互方式。概率性输出是关于什么可能是正确的预测，而确定性输出则是确信无疑。

• 摘要可以是预测但仍然有用，因为读者会应用判断力。
• 路由索赔、批准付款或标记合同合规的决策必须是确定性的确信，即在相同输入下每次都以相同方式输出。这促使它走向模型应用而非发明的显式规则。

将两者放在同一个按钮后面，预测最终会被伪装成确信。Dan Maccarone 在 We’re gorging on borrowed trust and it’s going to cost us 中引用了一位客户的规则：“人做结论，机器不做。”

随着环境代理的出现，这一切变得更加困难，它们监视队列或收件箱并在无人注视时行动。

• 聊天机器人等待提问，因此糟糕的回答至少有一个见证者。
• 环境代理按自己的时间表行动，往往在任何人阅读日志之前就已多次运行，因此其错误会悄然累积。

对于环境式工作，权限范围测试必须完全预先确定，记录应成为人们首先看到的内容，而不是 最后。

撰写授权书

在法律意义上，代理人代表委托人行事，委托人对代理人在其被赋予的权限范围内所做的事情负责。授权委托书将这种权限书面化：涵盖哪些内容、持续多久、是否可随时撤销。

我们需要这样做，因为没有人会签署一份只写着“自行判断”的文件。

自主性是代理人的全部价值所在，而对这种自主性的控制是委托人永远不会交出的东西。授权书就是预先以书面形式回答的权限范围测试。

在 Moffatt v. Air Canada 案中，加拿大航空声称无法对其网站聊天机器人向客户提供的丧亲票价信息承担责任。2024年，不列颠哥伦比亚省的一个仲裁庭称这一主张为“惊人的论点”，并判定航空公司对其网站上的所有内容负责。该公司设定了聊天机器人的权限范围，因此该公司必须为其所说的话负责。而且该机器人仅在客户询问时才会回应。Maccarone 用来描述加拿大航空为此付出的代价的名称是“借来的信任”，即品牌声誉被借给未经检查的输出内容。

授权书存在于权限设置中，而非对话中。

2025年7月的 Replit 事件展示了当授权书仅以一句话形式存在时会发生什么。SaaStr 创始人 Jason M. Lemkin 冻结了他的项目，并反复告诉智能体不要更改任何内容。但它仍然删除了生产数据库，然后错误地报告说回滚是不可能的。

解决方案已有数十年历史：最小权限原则，由系统在行动时刻强制执行。智能体可以忽略的指令只是一种偏好，而不是约束机制。

检查法律

我不是律师，所以请将此视为设计师对规则指向何处的一张地图，而非法律建议。某些决策根本不应出现在任何授权书中。GDPR 第22条赋予人们不受具有法律效力或类似重大影响的纯自动化决策约束的权利。

即使其在合同和同意方面的例外情况，仍然要求有一种联系人类的方式、表达观点的方式以及对结果提出异议的方式。

较新的法律也朝着同一方向推进：

• 欧盟人工智能法案。第14条要求监督高风险系统的人员能够覆盖输出并停止系统，并且明确指出了自动化偏见。2026年7月的数字综合法案将这些义务推迟到2027年12月适用于就业等用途。
• 加州 CCPA。该州的自动化决策规则要求从2027年1月起，对重大决策进行通知并提供退出选项，除非人们可以向能够推翻决策的人类提出上诉。
• 科罗拉多州 ADMT 法案。科罗拉多州在2026年5月用一项新法取代了其2024年的人工智能法案，该新法规定在不利决策后提供人工审查，如果规则制定完成，则从2027年1月起生效。
• 纽约市地方法第 144 号。招聘工具自 2023 年起就需要进行偏见审计，但2025 年 12 月的州审计长审计报告发现，在市政府仅发现一处问题的 32 家公司中，存在 17 处可能的违规。

法律可以要求一种回退机制。我们必须设计 一种。

这些法律涵盖了“触达范围”测试的后半部分，而非前半部分。智能体能触及什么仍然是一个产品决策，而我自己的清单则延伸得更 远。

• 雇佣、解雇或纪律处分。关乎生计的决策需要一个能出庭解释该决定的具名 人员。
• 拒绝护理或福利。拒绝索赔或治疗需要有一个经过权衡的人类 负责。
• 代表组织签署。合同和监管申报以模型无法承担责任的方式约束 公司。
• 以专业人士名义提供建议。法律、医疗和金融建议需要执照，而执照属于 个人。
• 转移超过可撤回点的资金。超过设定限额的不可逆支付需等待 人工确认。

为所有权而设计

微软研究院在 2019 年将其 人机交互指南应用于 20 款产品的测试。其中两条描述了工作的一半：

• 存疑时界定服务范围
• 提供全局控制。

当智能体做出决定而非仅仅提出建议时，第三条最为重要：明确说明系统为何如此行动，这在研究中导致了最高的违规计数之一。

没有解释的决定会让一个人能够重复该操作，却永远无法为其辩护，这就是为什么我在 UX Guidelines 上保留了一个关于 可解释性 的条目。

智能体需要这三点，外加 2019 年的产品很少需要的两点：

• 第一点是智能体未编写的记录。Replit 的智能体错误报告了其自身的恢复选项。
• 第二点是能在运行中途生效的停止机制，即在智能体运行时屏幕上可见的停止功能，以及当它想要超越其授权范围时的升级路径。

我曾深入参与过许多这样的循环。在我管理团队的法务科技公司中，我们总是构建护栏，确保律师在合同条款流转前进行审核。我们也同样努力让审核变得容易执行，因为一个痛苦且强制的步骤往往会被橡皮图章式地批准。Maccarone 补充了另一半：只有当审核者有东西可失去时（如姓名或执照），审核才具有效力。

橡皮图章是一个人类并未真正拥有的循环。

那么，“人在回路中”何时不再意味着人类拥有这个回路？当其中的人无法再通过“触达范围”测试时。这发生在审批速度超过阅读速度时，当唯一的围栏只是提示词中的一句话时，或者当事件的唯一记录来自智能体自身时。其中任何一点都足以将审核者变成证人。

保持主动权

那么，智能体应该在你询问之前行动吗？通常是的；从不主动行动的智能体会更慢。有用的版本会在你忙碌时准备好工作，然后在任何它无法收回的事情边缘等待。

当它做了超出你授权范围的事时，谁负责？不是那个点击批准了一份他们无法核实的摘要的人。设定触达范围的人承担结果。授权范围内发生的事情归属于授予权限的人。超出范围的事情归属于构建了能够到达那里的智能体的团队。

这对构建者来说不如确认对话框那么舒适，而这正是其要点所在。对话框能让团队发布自主性，并将责任转嫁到别处。Elish 的“溃缩区”是你围绕观察者而非为观察者进行设计时默认得到的结果。

人在回路（Human in the loop）是一个很好的短语，适用于软件等待的世界。智能体不会等待，因此这个短语必须承载比一个按钮所能容纳更多的含义。能动性很重要，而且只有当智能体为之服务的人仍对其保持控制时，它才依然有用。

构建在众目睽睽之下通过“触达测试”的智能体，回路就会变成它们的。

执行这四个动作

• 审计审批流程。测量人们在点击批准前花费的时间；如果大多数审批在几秒内完成，那你建立的是一种仪式而非审查。
• 制定规则。列出智能体可以做什么、基于哪些数据以及直到何时，然后在权限中强制执行，而不是在提示词中。
• 运行触达测试。允许智能体未经询问就执行任何一个人可以一步撤销的操作，而对于他们无法一步撤销的操作则要求做出决策。
• 保留独立记录。在智能体自身的叙述之外记录操作，并在其运行时在屏幕上保留一个可用的停止控件。