跳到正文
arXiv· David Anugraha, Vishakh Padmakumar, Diyi Yang·· 5 小时前精选AI 评分73

SparkMe发布:自适应半结构化访谈多智能体系统

SparkMe: Adaptive Semi-Structured Interviewing for Qualitative Insight Discovery

文章摘要

定性洞察对产品和政策决策至关重要,但受限于训练有素的访谈员数量,难以规模化收集数据。现有利用大语言模型自动化访谈的系统缺乏平衡预设话题系统覆盖与自适应探索的原则性机制,也难以在对话中自然跟进、深挖和捕捉涌现主题。

针对这一挑战,研究者将自适应半结构化访谈构建为对访谈者行为的优化问题。访谈效用被定义为三个维度的权衡:预设访谈话题指南的覆盖率、相关涌现主题的发现能力以及以长度衡量的访谈成本。依据此公式化定义,推出了 SparkMe,一个执行深思熟虑规划的多智能体 LLM 访谈员。它通过模拟对话推演来选择具有高预期效用的问题。

评估分为两部分。首先是通过由 LLM 扮演的受访者进行的控制实验,结果显示 SparkMe 实现了更高的访谈效用,相比最佳基线提高了 4.7% 的话题指南覆盖率,并在比先前 LLM 访谈方法更少的对话轮次中激发了更丰富的涌现洞察。其次是在涵盖 7 个职业的 70 名参与者中进行的用户研究。职业领域专家评价其产生了更高质量、更具适应性的访谈,并验证了基线未捕捉到的特定职业洞察。此外,单独招募的定性或人本中心研究专家也发现 SparkMe 具有更强的响应能力和追问技巧。SparkMe 的代码和评估资源已开源。

推荐理由

多智能体LLM访谈工具通过模拟对话规划平衡预设话题覆盖与涌现主题探索,在控制实验和用户研究中提升访谈效用并减少对话轮次。

来源:arXiv · arxiv.org