LLM事实性指标对用户信任影响研究
先了解这件事
Greta Warren等人发表混合方法研究，探讨置信度和来源等事实性指示器如何影响用户对AI生成信息的感知。该研究通过8人访谈、1000人调查和5151人实验，评估用户在园艺、数学和医疗查询场景下对AI响应的验证行为。 结果显示，虽然置信度指标影响了初始信任和准确性感知，但用户对其解读存在模糊性；来源被视为关键，但用户担忧其可靠性及验证成本。实验表明，一旦参与者得知响应正确性，这些指标的影响便消失。此外，无论指标如何，医疗查询均引发用户怀疑态度。研究者称，应帮助用户解读模型置信度并将来源整合到界面中，以建立校准的信任。
AI 根据报道生成 · 5 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv精选LLM聊天机器人事实性指示器设计与评估研究
生成式AI系统日益成为人们获取信息的中介，但向普通用户传达AI事实性仍具挑战。一项涵盖访谈、调查和实验的混合方法研究探讨了人们如何评估AI生成的园艺、数学和医疗查询信息，以及置信度和来源等事实性指示器如何影响感知。 研究通过8人访谈、1000人调查和5151人实验发现，人们会利用外部证据和AI提供的证据选择性验证AI响应，这一行为受情境因素调节。虽然置信度指标影响了信任和准确性感知，但用户对AI置信度的解读存在多样性和模糊性。来源被视为关键，但用户对其可靠性和验证成本表达了担忧。 实验结果表明，置信度和来源指标确实影响了初始感知，但一旦参与者得知响应的正确性，这些影响便消失。无论指标如何，医疗查询均引发了用户的怀疑态度。这些发现支持帮助用户解读模型置信度，并将来源信息整合到界面中，以支持在AI辅助信息寻求过程中建立校准的信任。该研究由Greta Warren等人完成，发表于arXiv cs.HC方向。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月26日 13:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。