LLM聊天机器人事实性指示器设计与评估研究
生成式AI系统日益成为人们获取信息的中介,但向普通用户传达AI事实性仍具挑战。一项涵盖访谈、调查和实验的混合方法研究探讨了人们如何评估AI生成的园艺、数学和医疗查询信息,以及置信度和来源等事实性指示器如何影响感知。 研究通过8人访谈、1000人调查和5151人实验发现,人们会利用外部证据和AI提供的证据选择性验证AI响应,这一行为受情境因素调节。虽然置信度指标影响了信任和准确性感知,但用户对AI置信度的解读存在多样性和模糊性。来源被视为关键,但用户对其可靠性和验证成本表达了担忧。 实验结果表明,置信度和来源指标确实影响了初始感知,但一旦参与者得知响应的正确性,这些影响便消失。无论指标如何,医疗查询均引发了用户的怀疑态度。这些发现支持帮助用户解读模型置信度,并将来源信息整合到界面中,以支持在AI辅助信息寻求过程中建立校准的信任。该研究由Greta Warren等人完成,发表于arXiv cs.HC方向。
推荐理由:混合方法研究揭示置信度与来源指标对信任的差异化影响,为LLM聊天机器人设计校准用户信任的事实性指示器提供实证依据。