跳到正文
arXiv· Shravika Mittal, Sunnie S. Y. Kim, Scott Counts, Jennifer Neville, Debarati Das, Philippe Laban·· 3 小时前精选AI 评分78

MANDATE 框架解析 AI 智能体委托失败的23类成因与感知偏差

Babysitting AI Agents: A User-Centered Taxonomy and Study of Agentic Delegation Failures

文章摘要

用户将长周期多步骤任务委托给 AI 智能体时,常遭遇执行结果偏离预期的“委托失败”,且故障越严重往往越难被及时察觉。针对这一人机协作中的信任与控制难题,研究人员利用包含163,487条 Reddit 帖子的语料库,构建了名为 MANDATE 的分类体系,将智能体委托失败归纳为七大组别下的23个具体类别。该体系旨在系统化梳理用户在让渡控制权过程中遇到的典型障碍,涵盖从逻辑错误到资源浪费等多种失效模式。

在建立分类标准后,团队对73名 AI 智能体用户进行了后续研究,重点考察故障普遍性与用户对严重程度及可察觉性感知之间的关系。数据显示,被评估为更严重的失败类型,用户反而认为更难注意到;而有过相关失败经历的用户,其对同类问题的察觉能力显著增强。这一发现挑战了传统直觉,即人们可能因缺乏经验或认知负荷过高,而忽略那些后果最严重的隐性错误。

此外,研究还评估了当前学术界对各失败类别的研究成熟度,识别出一些高频出现但关注度不足的领域,例如智能体运行却无实质进展的情况。这些空白表明,现有的技术优化方向可能未完全覆盖用户在实际使用中面临的核心痛点。通过量化不同失败类型的特征及其对用户感知的干扰机制,该工作为改进智能体的透明度、可解释性以及用户监督工具的设计提供了具体的实证基础,有助于开发更易被用户监控和理解的委托系统。

推荐理由

分析16万条用户反馈构建智能体委托失败分类体系,揭示严重故障更难被察觉的规律,为设计可监督的代理交互提供实证依据。

来源:arXiv · arxiv.org