面向医疗专业人士的LLM临床文本转SQL对话式交互用户研究
Conversational Interaction for LLM-Based Clinical Text-to-SQL: A User Study with Healthcare Professionals
自然语言访问电子健康记录(EHR)数据时,对话式交互并非仅仅是锦上添花的便利功能,而是实现实用性的先决条件。针对大语言模型驱动的文本转SQL工具,一项包含14名经常使用EHR数据的医生的用户研究显示,多轮对话界面在系统可用性量表(SUS)得分上显著优于单轮界面,从接近行业平均水平的68.2分提升至85.9分(p<0.001)。这一结果挑战了以往主要依赖完全指定问题的基准测试或模拟用户的评估方式,表明真实临床环境中的查询模糊性需要更强的交互支持。
该研究采用被试内设计,让参与者在MIMIC-IV数据库上分别使用单轮和多轮文本转SQL界面。除了主研究的14名医生外,对话分析还结合了主研究和两项预研究中21名医疗专业人士的交互日志。在技术接受度构念方面,包括绩效期望、努力期望、自我效能和行为意向,对话式界面均显示出显著优势。事后强制选择比较中,93%的参与者表示对对话式界面的整体满意度更高,86%的人更倾向于在实际工作中采用它,71%的人更信任其结果;没有任何参与者认为单轮界面在偏好或信任度上更优。
深入分析425条记录的用户回合发现,自由组成的查询触发了24.8%的澄清请求,而预先定义的、完全指定的问题仅触发1.8%。值得注意的是,64.3%的澄清环节源于EHR或临床领域知识的需求。这表明,当用户不再提供完美无缺的结构化输入,而是像日常沟通那样自由提问时,系统必须能够处理歧义并通过对话进行澄清。这种高频的澄清需求进一步证实了对话式接口的重要性,同时也警示以基准风格进行的评估可能会严重低估真实临床使用中存在的模糊性。对于旨在开发医疗数据分析工具的团队而言,这意味着单纯提高SQL生成准确率不足以解决可用性问题,必须将多轮对话能力作为核心架构要素,以应对真实世界中充满噪声和不完整信息的用户意图。
对比单轮与多轮对话在临床数据查询中的可用性差异,揭示真实场景下澄清需求对交互设计的决定性影响。
来源:arXiv · arxiv.org