MeasuringU 文献综述：AI 主持人在 UX 研究中的有效性证据与局限

AI 可以取代研究主持人。

也许可以；也许不行。

当我们遇到像这样的有趣主张时，我们通常采取以下方法：

1. 定义该主张。
2. 评估证据及其质量（重点关注同行评审出版物）。
3. 进行我们自己的实验。
4. 完善并修正我们对该主张的看法。

关于 AI 主持人，我们现在处于该过程的第二步。我们在之前的文章中涵盖了第一步，在那篇文章中我们探讨了 AI 是否可以合理地用于主持 UX 访谈。

我们之前还写过关于合格的主持人与优秀的主持人之间的区别的文章，而提出好问题只是其中的一部分。这从会话开始之前就开始了，即理解利益相关者为何想要进行这项研究——这正是告诉熟练的主持人何时深入探究以及何时脱离脚本的关键。在会话期间，这意味着知道如何在不妨碍任务的情况下帮助陷入困境的参与者，识别某人是否 misrepresented 他们的身份，何时停止探究并继续前进，以及如何处理那些要求超出讨论指南内容的观察者。

一些数据表明，AI 可以被大规模用于面试求职者，但在那种情况下，面试是针对低级别职位的直接问答。这与由熟练的 UX 主持人进行的半结构化 UX 会话有本质不同，后者会建立 rapport（融洽关系），并能判断何时脱离脚本以跟进有趣的线索，何时坚持使用指南。

在这篇文章中，我们回顾了已发表的文献，以调查支持或反对 AI 主持人进行访谈有效性的证据。具体来说，我们研究了关于使用生成式 AI 作为研究主持人的优势（或缺乏优势）的五个关键问题：

• 参与者对 AI 说的话比对人类主持人少吗？
• 参与者向 AI 和人类主持人提供相同深度的见解吗？
• AI 的主持能力与人类一样胜任吗？
• 参与者愿意与 AI 主持人交谈吗？
• 研究结果在不同模型或提示之间是否具有普遍性？

通过 MeasuringU 保持知情。

每周将最新的研究见解直接发送到您的收件箱。

我们如何选择这些研究

我们搜索了 2024 年至 2026 年中期发表的关于 AI 主导访谈的同行评审文献。为了确保合理近似当前 LLM 代理的能力，本综述中的所有论文均使用了 ChatGPT-3.5 或更新的模型。

我们优先考虑同行评审论文，但包括两个例外：Chopra 和 Haaland 的 CESifo 工作论文（一个大型实证 AI 访谈数据集，n = 766）和 Rosala 的 Nielsen Norman Group 报告（唯一描述现实世界从业者工具使用的来源），总计十个来源。对于以下章节中的每个问题，发现被标记为 pro AI（AI 主持的明显优势）、neutral（AI 无明显优势或劣势）或 anti AI（AI 的明显劣势）。所有研究均在附录中总结。

参与者对 AI 说的话比对人类主持人少吗（字数、参与度、阐述）？

有一些说法称，人们在与 AI 主持人交流敏感话题时说得更多，但对于通常不涉及敏感话题的 UX 研究而言，这种情况不太可能发生。因此，我们不期望 AI 主持人能让参与者说更多内容，但如果人们与 AI 主持人交流时说得更少，我们会感到担忧。

有两项研究得出了相关发现：

Wuttke 等人（2025）的研究结果喜忧参半。他们进行了一项小型课堂试点，其中学生配对分别完成了一次由 AI 主持（GPT-4 Turbo）和一次由人类主持的关于政治与民主的访谈，分析了 六 场人类主持和 五 场 AI 主持的会话。

在他们的表 1 中，他们显示当主持人是 AI 时，参与者的原始回答长度更长（52 vs. 33 词/答案；支持 AI），但人类主持人在参与度和详细阐述方面的评分更高（反对 AI）。请注意，本研究中的主持人是学生，而非经验丰富的 UX 专业人士。

Zhu 及其同事（2026）进行了一项随机对照试验，比较了使用中国字节跳动技术（如 Doubao-1.5-pro-32k-250115）的智能体语音主持人与人类主持人在笔记应用出声思维测试中的表现（n = 60）。他们发现，在针对其 AI 和人类主持人的回答总字数指标上，没有显著差异（表 6，中性）。

其他值得关注的发现

Cuevas 及其同事（2025）进行了一项大型研究（n = 399），将两个基于 GPT-3.5-turbo 的大语言模型访谈聊天机器人与硬编码问题基线进行了对比。他们发现每次会话的字数没有显著差异。

Chopra 和 Haaland（2026）进行了两项大样本开放式定性访谈（一项关于 2023 年股市不参与现象，n = 381；另一项关于 2025 年对美国关税的态度，n = 385），使用了多智能体 AI 聊天机器人，并比较了不同追问程度的条件。他们在股市研究中报告了对 AI 面试官的回答速度为每分钟 29 词（wpm），并将其与已发表的人类主导基于聊天的访谈基准（20 wpm；Namey 等人，2020）进行比较。然而，AI 面试官的 wpm 计算似乎存在错误，因为平均字数为 654，平均分钟数为 33，因此实际 wpm 应为 19.8（654 / 33）。由于明显的计算错误以及这种非受控跨研究比较的薄弱性，我们将此发现归类为不相关。

底线：关于参与者是否对 AI 主持人比对人类主持人说更多，证据喜忧参半，但没有令人信服的证据表明他们说得更少。

参与者向 AI 和人类主持人提供的洞察深度是否相当（丰富性、新颖见解）？

字数多少并不等同于洞察质量。优秀的主持人应该能够引导参与者深入探讨话题，以帮助为利益相关者生成洞察。AI 主持人能否像人类一样深入？

相关研究包括 Wuttke 等人（2025）和 Zhu 等人（2026）。

Wuttke 等人的课堂研究（他们的表 1）报告称，其 AI 主持人的回答具体性（细节程度）的人工编码评分较低（反对 AI）。

Zhu 等人报告称“分析表明，参与者在不同条件下的分析性思维深度和问题解决表述能力保持相似”（第 4.3 节，中性）。

其他值得关注的发现

• Chopra 和 Haaland (2026) 报告称，与单个或多个开放式调查问题相比，他们的 AI 主持人能更快地发现主题（见其图 8），这一速度大致相当于人类参与者的发现率。
• Cuevas 等人 (2025) 报告称，他们的 AI 主持人在后续追问方面优于硬编码机器人，但在回答的丰富程度上没有实际差异。
• Kuric 等人 (2025) 报告称，与静态预写的后续问题相比，他们的 AI 主持人表现较差。

结论：关于 AI 主持人能否达到人类水平的参与者回应深度，证据不一，但没有令人信服的证据表明对 AI 主持人的回应更浅或更深。

AI 是否能像人类一样胜任地主持（协议保真度、追问、任务结果）？

聚焦于与人类主持人的比较，相关研究再次为 Wuttke 等人 (2025) 和 Zhu 等人 (2026)。

Wuttke 等人的研究发现在支持 AI、中性和反对 AI 之间分布均匀。AI 在倾听/复述参与者回应以及较少引导参与者方面具有优势（支持 AI）。另一方面，AI 经常未能对不清楚/令人惊讶的回答进行跟进，并且有潜在偏见倾向去赞扬受访者（反对 AI）。总体而言，AI 和人类都“忠实遵循了提供的问卷”，并在相似的胜任水平上运作（中性）。在解释这些发现时，请记住该发现较为复杂，因为每种条件下的受访者都是学生，他们在两种条件中还扮演了其他角色（访谈者、观察者）。

Zhu 等人报告称，在程序依从性或出声思考指导质量方面没有实际差异（中性）。AI 主持受到偶尔的任务固着和流程中断的影响，并且在上下文感知的跟进和建立信任方面显著较差（表 8，反对 AI）。

其他值得关注的发现

• Kuric 等人 (2025) 报告称，与静态预写的后续问题相比，他们的 AI 主持人在发现新的可用性问题、引导参与者以及问题的感知合理性方面表现较差。
• Cuevas 等人 (2025) 报告称，与硬编码基线聊天机器人相比，他们的 AI 主持人在跟进质量和连续性方面表现更好，但在相关性、清晰度或具体性方面没有实际差异。
• Panfilova 等人 (2026) 测量了六种不同 LLM 的绝对协议合规性和追问判断分数，由于合规失败在研究早期排除了 DeepSeek，并指出 Grok 过度追问已经完整的答案。
• Chopra 和 Haaland (2026) 报告称，他们的 AI 主持人具有很高的协议保真度。
• Jacobsen 及其同事（2025）测试了四种不同的探针类型（描述性、个案式、澄清性和解释性），并将其直接嵌入在线调查中（n = 64，每种探针类型条件有 16 名参与者）。他们发现，个案式策略通常最具能力，而解释性策略最弱（基于人工编码的相关性、具体性和清晰度指标）。
• Rosala（2026）报道了 Nielsen Norman Group 对 AI 主持访谈工具 Marvin 和 UserFlix 的实操测试，来自八个国家的十位研究负责人和 ResearchOps 专业人员对这些工具进行了评估。他们描述了所评估的 AI 访谈产品存在的僵化脚本遵循、时间控制问题以及阿谀奉承现象。

底线：关于 AI 与人类主持能力的证据目前仅基于两项研究（Wuttke 等人进行的五场 AI 主导和六场学生主导的访谈；Zhu 等人进行的各三十场 AI 主导和人类主导的访谈）。研究结果表明，AI 在主持的程序性、机械性方面与人类水平相当（但未超越），在不引导的前提下准确复述方面可能略胜一筹，但在依赖判断力的能力上不如人类。

参与者是否愿意与 AI 主持人交谈（融洽关系、信任、意愿）？

融洽关系不仅仅是打破僵局；它是帮助建立信任和引出更深层见解的工具。与人类相比，AI 在这方面表现如何？

针对这个问题有五篇相关研究：

• Chopra 和 Haaland（2026）报告称，“大多数参与者更喜欢 AI 面试官而不是人类面试官”（支持 AI）。
• Zhu 等人（2026）发现，对于大多数子群体而言，强烈偏好人类主持（反对 AI），但其内向者子群体则偏好 AI（支持 AI）。
• Wuttke 等人（2025）报告称，AI 主导与人类主导主持之间的总体满意度没有差异（中性），但人类主持在趣味性（Interestingness）和可重复性（Repeatability，即再次参与的意愿）评分上更高（反对 AI）。
• Jacobsen 等人（2025）发现，相对于向人类披露信息，略微更倾向于向 AI 聊天机器人披露（14 人选择 AI，占 21%；6 人选择人类，占 9%；支持 AI），但大多数参与者没有偏好（44 人，占 67%；中性）。
• Cuevas 等人（2025）报告称，“在偏好人类面试官还是 AI 面试官方面……[没有] 显著差异”（中性）。
• Danó 及其同事（2025）研究了匈牙利人对 AI 面试官的态度，发现 49% 的受访者不愿与虚拟面试官进行任何互动（反对 AI）。

底线：关于参与者对 AI 或人类主持的偏好，结果不一。然而，就这个问题而言，即使只有相当一部分人不愿意与 AI 主持人互动，对于许多类型的研究来说，这也可能是招募问题和研究放弃率增加的一个隐患。

研究结果是否能跨模型或提示词泛化？

LLM 每周都在变化，且具有概率性。如果改变提示词和模型会改变结果（无论好坏），那么很难将研究结果推广到实际从业者中。

对于这个问题，我们将支持 AI 普适性的证据归类为亲 AI，将反对的证据归类为反 AI。共有四项相关研究：

• Chopra 和 Haaland (2026) 报告称在多项研究和模型中使用相同的提示词，“没有特定应用的指令，使其可跨领域移植”（亲 AI）。
• Panfilova 等人 (2026) 在相同任务上运行了六个不同的 LLM，发现排名和失败模式存在显著差异（反 AI）。
• Jacobsen 等人 (2025) 报告称，操纵用于探究策略的提示词会导致不同的探究行为（反 AI）。
• Rosala (2026) 报告称，两款商业 AI 审核工具（Marvin, UserFlix）各有优缺点（反 AI）。

结论：许多作者指出，快速变化的模型以及不同提示词产生不同结果是生成式 AI 的一个特征。模型和提示词的不断变化使得针对这些主题的研究难以开展。通常被认为在 2020 年引发 AI 热潮的 GPT-3，拥有 1750 亿参数和 2,048 个 token 的上下文窗口。而于 2026 年 7 月发布的 Kimi K3，则拥有 2.8 万亿参数和一百万 token 的上下文窗口。当底层技术变化如此迅速时，任何你归因于当前模型的结果必然保质期很短。

总结与讨论

AI 是否适合替代人类主持人？对（大部分已发表的）文献的回顾发现了混合的结果。表 1 总结了五个问题的结果：亲 AI (6)，中立 (6)，反 AI (9)。在各来源中，亲 AI 和反 AI 的发现大致平衡。

表 1：按问题分组的相关来源发现。两字母代码是第一作者姓氏的前两个字母（例如，Ch 代表 Chopra，Cu 代表 Cuevas）。当研究发现混合时，同一作者会出现在某个问题的多个列中。

AI 主持人在表面层面上遵守了提出开放式、非引导性问题以及紧扣话题指南等做法。其最一致的弱点在于何时以及多大程度上进行探究的判断。因此，在更理想的深度和丰富性结果方面，我们的综述发现它们有所欠缺。

研究人员可能面临的一个潜在问题是，许多参与者与 AI 主持人互动的意愿较低，这可能导致招募减少和调查放弃率增加。因此，当客户询问我们对 AI 主持人的看法时，我们的回答是：“这取决于具体工作。”

对于结构化、高容量且注重一致性的数据收集，AI 主持人如今似乎是一种合理的工具。但对于探索性研究、情感细微差别以及那些旨在发现未知问题的研究而言，人类主持人目前仍不可替代。AI 似乎擅长这项工作的机械层面，但在关键的判断力方面有所欠缺。

上述工作很少属于 UX 研究，更无一出自我们之手。因此，我们决定开展自己的研究：针对 AI 主持人进行以 UX 为重点的评估，并将其与我们作为人类 UX 研究人员日常所做的工作进行比较。敬请期待该文章。

附录：参考文献与摘要

Chopra, F., & Haaland, I. (2026). Conducting qualitative interviews with AI. CESifo Working Paper No. 10666.

Chopra 和 Haaland 使用多智能体 AI 聊天机器人进行了两项大样本开放式定性访谈（一项关于 2023 年股市非参与情况，n = 381；另一项关于 2025 年对美国关税的态度，n = 385），其规模和边际成本是任何人类团队都无法比拟的。比较涉及不同追问水平的条件（单个开放式问题、多个开放式问题、无追问的 AI 主导访谈以及有追问的 AI 主导访谈），声称相对于单个开放式调查项目，AI 主导的追问发现了五倍数量的独特主题。增加更多开放式问题或无追问的 AI 缩小了约一半的差距。人类编码员认为转录稿包含实质性的定性内容，参与者对体验评价良好，且大多数参与者认可访谈后展示的由 AI 生成的陈述摘要。AI 和人工审查转录稿发现，AI 采访者始终遵循提示词指导的核心访谈方法论准则（开放式、相关性、非引导性）（第一次调查中为 95%，第二次接近 100%）。大多数参与者表示偏好 AI 而非人类主持，并愿意参加未来的 AI 主导访谈。

Cuevas, A., Scurrell, J. V., Brown, E. M., Entenmann, J., & Daepp, M. I. G. (2025). Collecting qualitative data at scale with large language models: A case study. Proceedings of the ACM on Human-Computer Interaction, 9.

Cuevas 及其同事进行了一项大型用户研究（n = 399），将两个基于 GPT-3.5-turbo 的 LLM 访谈聊天机器人与硬编码问题基线进行对比。他们通过两种方式对转录稿评分：一是基于既定的沟通质量指标，二是基于专门构建的“丰富度”量表：即回答在多大程度上捕捉到了受访者实际情况的复杂性和具体性。聊天机器人在标准指标上得分良好，但除了后续提问质量外，并不优于硬编码基线。此外，回答很少能揭示受访者的具体动机或个人例子，因此在丰富度上得分较低。表面的流畅性并不必然带来真正的定性深度。

Danó, G., Kovács, S., & Surman, V. (2025). Challenges and opportunities of AI in market research: Virtual interviewers. Tér-Gazdaság-Ember/Journal of Region, Economy and Society, 13.

Danó 及其同事研究了匈牙利人对 AI 面试官的态度。他们在 2024 年 6 月进行了一项大规模调查（n = 1077），询问人们对由具有人类声音的 AI 进行面试的感受，结果发现 49% 的受访者完全不愿意与虚拟面试官互动。如果一半的样本都不愿使用 AI 面试官，这可能会造成数据质量问题。

Kuric, E., Demcak, P., & Krajcovic, M. (2025). Unmoderated usability studies evolved: Can GPT ask useful follow-up questions? International Journal of Human–Computer Interaction, 41(15), 9752–9769.

Kuric 及其同事进行了一项被试间实验（n = 60），比较了有无实时 GPT-4 追问的非主持可用性汇报，随后比较了在该数据中提出追问问题的四种方式（无、研究者编写的静态问题、GPT-4 生成的问题以及后两者的混合）。这些追问增加了已知问题的深度，但并未揭示任何新问题。参与者还认为，当 AI 进行探究时，这些问题明显更不合理，抱怨其重复性高，并且当他们知道会有 AI 追问时，对主要种子问题的回答质量变差。

Jacobsen, R. M., Cox, S. R., Griggio, C. F., & van Berkel, N. (2025). Chatbots for data collection in surveys: A comparison of four theory-based interview probes. Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems, 228.

Jacobsen 及其同事在在线调查中直接嵌入了四种不同的探究类型（描述性、个案性、澄清性和解释性）进行测试（n = 64）。针对参与者的陈述，描述性探究询问你当时在做什么、感觉如何以及在想什么；个案性探究要求提供一个具体例子；澄清性探究询问这对你的意义是什么；解释性探究询问你为什么相信所说的话。个案性版本总体胜出，并且是唯一一个在评估阶段仍然表现良好的版本。解释性的“为什么”问题从未占据主导地位。

Panfilova, A., Bolshev, V., Mozikov, M., Latynov, V., Vanin, A., Nestik, T., Nourkova, V., Vlasova, A., Kozin, M., Serohvostov, A., Tarasova, E., & Nikolenko, S. (2026). The AI interviewer: Multi-faceted evaluation of adaptive questioning by large language models. Scientific Reports.

Panfilova 等人针对数据收集时的六个前沿模型运行了一套受控协议。使用其中五个模型创建的 AI 访谈员完成了该协议（Claude Sonnet 4、Gemini 2.5 Pro、GPT-5、Grok 4、Qwen3），而另一个模型（DeepSeek）因严重的性能问题被移除。研究人员首先收集了十次基线访谈，其中主持人和受访者均为人类，获得了针对 54 个问题的回答且无后续追问。AI 访谈员逐题审查转录文本，决定是否有必要进行后续追问，如果有，则提出额外的问题。这些问题由一个以人类受访者的 Big Five 人格档案为条件的 AI 代理回答，并可能进行额外的深入探究。人类评估者根据五项二元标准（善意、必要性、情境感知、开放性以及合理的跳过）评估了后续追问的适当性和额外问题的质量。访谈能力因模型而异，差异显著，但没有明确的优胜者。例如，Gemini 被评为最具同理心的模型，而 Grok 产生了最多的后续追问，但往往对已经完整的回答过度探究。在质量方面表现最佳的模型既不是最便宜的也不是最快的。

Rosala, M. (2026, January 30). AI-moderated interviews: If, when, and how to use them. Nielsen Norman Group.

Nielsen Norman Group 关于 AI 访谈员的文章报告了对两个 AI 主持访谈工具 Marvin 和 UserFlix 的实际测试，参与者包括来自八个国家的十名研究负责人和 ResearchOps 专业人员（他们是工具评估者，而非招募的受访者）。他们的结论是：AI 访谈员适用于有限的一组用途（产品反馈收集、招募筛选、翻译访谈以及没有专职研究员的团队），但不适用于探索性研究、高风险决策或需要领域专业知识和实时判断的工作。

Wei, J., Kim, S., Jung, H., & Kim, Y.-H. (2024). Leveraging large language models to power chatbots for collecting user self-reported data. Proceedings of the ACM on Human-Computer Interaction, 8(CSCW1).

Wei 及其同事构建了承担四种角色的聊天机器人：睡眠专家、营养师、生活教练和健身教练。他们通过操纵提示词创建了四种 AI 访谈员类型，交叉组合了两种格式（结构化列表和描述性叙事）和两种个性修饰符（在提示词中包含和不包含“who always shows empathy and engages my customer in conversations”），简称为 SP、SN、DP 和 DN，每个版本分配了 12 名参与者（n = 48）。参与者花费不到 20 分钟完成了与其分配的访谈员类型的八次对话（四种角色乘以两种场景路径，一种积极，一种消极）。一个关键的依赖变量是 AI 在对话期间被指示收集的 18 个预定义信息槽位（事实）的百分比。仅使用 LLM 本身（无训练数据且无微调），平均而言，聊天机器人捕获了约 79% 的目标事实（SP：83%，SN：77%，DP：72%，DN：83%）。提示词的编写方式很重要。研究人员报告称，个性修饰符提高了结构化格式的性能，但损害了描述性格式的性能，尽管这两种格式包含相同的事实信息。

Wuttke, A., Aßenmacher, M., Klamm, C., Lang, M. M., Würschinger, Q., & Kreuter, F. (2025). AI conversational interviewing: Transforming surveys with LLMs as adaptive interviewers. Proceedings of the 9th Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature (LaTeCH-CLfL 2025).

Wuttke 及其同事开展了一项小型课堂试点研究，学生两人一组，每组分别完成一次由 AI 主持（使用 GPT-4 Turbo）和一次由人类主持的访谈，顺序随机且角色轮换。研究人员分析了六次人类主持的访谈和五次 AI 主持的访谈，使用了关于政治与民主的相同问卷。AI 在违反指导准则的总体比率上与学生主持人相当，但错误类型有所不同。AI 始终未能抓住对意外或模糊回答进行追问的机会（占此类违规情况的 88%）。另一方面，学生主持人常常未能进行积极倾听，包括复述参与者刚刚所说的内容（占此类违规情况的 94%）。学生和 AI 主持人的行为都可能使受访者的回答产生偏差。尽管任务层面的指标如回答质量和理解程度表现相似，但参与者认为 AI 主持的访谈趣味性较低，且不太愿意再次参与。这一发现因每种条件下的受访者还扮演了其他角色（主持人、观察者）而变得复杂。

Zhu, W., Chen, G., Wang, Y., An, P., Du, J., & Li, C. (2026). Agentic audio moderator vs human moderator in think-aloud usability testing: Results from a randomized controlled trial. Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems.

Zhu 及其同事在一项针对笔记应用进行有声思维可用性测试的随机对照试验中，比较了智能体语音主持人（使用中国字节跳动技术，如 Doubao-1.5-pro-32k-250115）与人类主持人（n = 60）。他们发现参与者在任务表现或口头表达行为上没有显著差异，但在社会感知评分方面，如拟人化、生命感、喜爱度、智力和社会临场感，AI 的得分显著较低。AI 和人类主持人的口头表达行为存在差异，在有声思维阶段，AI 主持人比人类说话更多、更快且更频繁，这些行为可能降低了 AI 的融洽度得分。