研究发现无外部反馈时用户难以校准对错误LLM建议的信任

在缺乏及时准确反馈的多轮对话场景中，用户往往无法有效降低对持续提供错误建议的大语言模型（LLM）的依赖，这种信任校准失败可能导致特定领域的过度依赖风险。Cameron R. Jones 等研究者通过四项实验考察了人们在多轮交互中如何根据 LLM 助手的准确性调整其建议采纳程度，对比了助手表现分别为完全准确、完全不准确以及混合准确三种情境下的用户行为。

实验数据显示，当参与者能够接收到关于模型准确性的外部反馈时，他们能显著区分助手的质量，对有帮助模型的依赖率为67%，而对无帮助模型的依赖率降至21%。然而，在没有外部反馈的条件下，即使面对一个始终提供错误信息的模型，参与者仍有48%的时间被其说服，这一比例甚至高于对有50%准确率或有帮助模型在无反馈条件下的部分表现参照（原文指出有帮助模型在无反馈下为38%，此处需结合上下文理解：原文表述为“Without feedback, people continue to be persuaded 48% of the time by a consistently unhelpful model (vs 38% for helpful)”，意指在无反馈条件下，用户对错误模型的采纳率高达48%，而用户对正确模型的采纳率仅为38%，这表明无反馈时用户并未表现出对正确模型的偏好，反而可能因其他因素如早期高依赖惯性导致对错误模型的坚持）。更关键的发现是，参与者的依赖模式并非随着时间推移逐渐建立对正确模型的信任，而是呈现出“早期高依赖、仅在出现明显错误证据后下降”的特征。

此外，研究还比较了人类顾问与 LLM 顾问的影响。结果显示，参与者对 LLM 顾问的信任度（83%）高于对人类顾问的信任度（65%），且 LLM 从良好的历史记录中获益的程度超过人类。这与以往认为“真理具有论证优势”的观点形成对比，本研究发现只有当参与者对自己原有立场非常自信时，真理才显示出轻微的说服力优势；而对于静态提示，真理优势完全未显现。这些结果共同表明，在许多无法获得即时地面真值反馈的领域，人们极易受到 LLM 建议的影响，即便这些建议是错误的，从而引发对 AI 系统可靠性的担忧及潜在的过度依赖问题。