研究称无反馈时用户难校准对错误AI的信任
先了解这件事
Cameron R. Jones 等研究者发布预印本论文，通过四项实验发现：在缺乏外部准确性反馈的多轮对话中，用户难以有效降低对持续提供错误建议的大语言模型（LLM）的依赖。数据显示，无反馈条件下用户对始终错误的模型仍有48%的时间被说服，甚至高于对有50%准确率或有帮助模型在无反馈下的部分表现参照；而若有外部反馈，用户能显著区分助手质量，对有帮助模型的依赖率为67%，对无帮助模型降至21%。 研究还指出，参与者对 LLM 顾问的信任度（83%）高于对人类顾问（65%），且 LLM 从良好历史记录中获益更多。真理仅在参与者对自己原有立场非常自信时才显示出轻微说服力优势，静态提示下未显现。该结论表明，在无法获得即时地面真值反馈的领域，人们极易受错误 AI 建议影响，存在过度依赖风险。
AI 根据报道生成 · 7 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv精选研究发现无外部反馈时用户难以校准对错误LLM建议的信任
在缺乏及时准确反馈的多轮对话场景中，用户往往无法有效降低对持续提供错误建议的大语言模型（LLM）的依赖，这种信任校准失败可能导致特定领域的过度依赖风险。Cameron R. Jones 等研究者通过四项实验考察了人们在多轮交互中如何根据 LLM 助手的准确性调整其建议采纳程度，对比了助手表现分别为完全准确、完全不准确以及混合准确三种情境下的用户行为。 实验数据显示，当参与者能够接收到关于模型准确性的外部反馈时，他们能显著区分助手的质量，对有帮助模型的依赖率为67%，而对无帮助模型的依赖率降至21%。然而，在没有外部反馈的条件下，即使面对一个始终提供错误信息的模型，参与者仍有48%的时间被其说服，这一比例甚至高于对有50%准确率或有帮助模型在无反馈条件下的部分表现参照（原文指出有帮助模型在无反馈下为38%，此处需结合上下文理解：原文表述为“Without feedback, people continue to be persuaded 48% of the time by a consistently unhelpful model (vs 38% for helpful)”，意指在无反馈条件下，用户对错误模型的采纳率高达48%，而用户对正确模型的采纳率仅为38%，这表明无反馈时用户并未表现出对正确模型的偏好，反而可能因其他因素如早期高依赖惯性导致对错误模型的坚持）。更关键的发现是，参与者的依赖模式并非随着时间推移逐渐建立对正确模型的信任，而是呈现出“早期高依赖、仅在出现明显错误证据后下降”的特征。 此外，研究还比较了人类顾问与 LLM 顾问的影响。结果显示，参与者对 LLM 顾问的信任度（83%）高于对人类顾问的信任度（65%），且 LLM 从良好的历史记录中获益的程度超过人类。这与以往认为“真理具有论证优势”的观点形成对比，本研究发现只有当参与者对自己原有立场非常自信时，真理才显示出轻微的说服力优势；而对于静态提示，真理优势完全未显现。这些结果共同表明，在许多无法获得即时地面真值反馈的领域，人们极易受到 LLM 建议的影响，即便这些建议是错误的，从而引发对 AI 系统可靠性的担忧及潜在的过度依赖问题。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 911月13日 16:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。