MeasuringU实验显示参与者在AI主持的深度访谈中比人类主持人少说45%

“AI 主持人与人类主持人一样优秀吗？”

这是一个好问题。如果有数据来帮助回答这个问题就好了。然而，我们只有销售 AI 主持人技术的供应商提出的主张。这并非毫无价值，但在你解散研究团队并停止人工主持之前，这并不是你想要的客观数据。

当我们遇到这样有趣的主张时，通常会采取以下方法：

1. 定义该主张。
2. 评估证据及其质量（重点关注同行评审出版物）。
3. 进行我们自己的实验。
4. 完善并修正我们对这一主张价值的看法。

我们在上一篇文章中完成了第二步，回顾了已发表的文献。可供回顾的文献并不多，而且一些发现可能略显过时。但即使是较新的研究也较为匮乏，因为大多数研究是将 AI 主持人与问卷调查或静态后续问题进行比较，而不是与实时的人类主持人进行比较。只有两项研究真正让 AI 主持人与人类主持人进行了直接对比。

其中一项是小型课堂式研究（Wuttke 等人，2025）。学生两两一组，分别进行一次由 AI 主导和一次由人类主导的关于政治与民主的访谈，总共仅获得五场 AI 主导和六场人类主导的会话，且由学生代替经过培训的主持人。

另一项（Zhu 等人，2026）是一项统计功效充足的随机对照试验（RCT），每种条件有 30 场会话，将智能体语音主持人与人类主持人在一款笔记应用出声思维可用性测试中进行对比。这是一项更强的研究，但出声思维主持的需求低于深度访谈主持。在出声思维会话中，主持人的主要任务是提示参与者继续叙述他们正在做的事情。这与无人主持的出声思维相差不远，后者根本没有主持人，只是偶尔发出“继续说”或“多讲讲”的提示。半结构化或深度访谈对主持人的要求要高得多：从零开始建立融洽关系、实时判断随口提及的内容是否值得额外花费五分钟，以及引导没有任务锚点的对话。

在 Zhu 等人的研究中，他们发现参与者产生的字数没有差异，但在会话期间，AI 主持人说话更多、更快、更频繁。尽管两者在程序依从性上无法区分，但 AI 主持人在情境感知后续提问和建立信任方面的得分显著低于人类主持人。

这次回顾留下了五个文献无法解决的问题：

• 参与者对 AI 主持人说的话是否少于对人类主持人？
• 参与者向 AI 和人类主持人提供的洞察深度是否相同？
• AI 的主持能力是否与人类相当？
• 参与者是否愿意与 AI 主持人交谈？
• 研究结果是否能推广到不同的模型或提示词？

每个问题都需要单独分析，并且都需要更多数据。为了帮助我们（以及整个行业）回答这些问题，我们构建了自己的 AI 主持人并进行了一项受控实验。在本文中，我们将介绍该实验的设置，并解决第一个问题：参与者对 AI 主持人说的话是否比对人类主持人更少、更多或大致相同。当然，说得更多并不一定更好，但如果人类系统性地对 AI 主持人说得更少，那就会减少发现洞察的机会。

通过 MeasuringU 保持信息更新。

每周将最新的研究洞察发送到您的收件箱。

实验研究设置

要测试 AI 主持人，你需要几样东西：一个 AI 主持人、人类主持人、研究目标和讨论指南，以及人类参与者。后三项是 UX 研究的常规内容；AI 主持人则是新增部分。

AI 主持人

市面上已有 AI 主持人，但我们出于两个原因希望自行构建。首先，我们想了解提示和编程决策如何影响关于追问决策的输出，尤其是在模型发生变化时。其次，我们希望 AI 主持人看起来尽可能逼真（并且与研究中真实的人类主持人惊人地相似）。我们使用 AI 代理构建了我们的 AI 主持人，并使用我们两位研究员的声音创建了照片级逼真的虚拟形象（见视频 1）。

视频 1：我们的 AI 主持人与人类主持人的快速对比。

AI 主持人使用了 Gemini 3 Flash。为了最大限度地减少延迟以及因上下文窗口溢出而产生幻觉的风险，该 AI 主持人由多个顺序工作的代理组成。每个代理涵盖一个广泛的主题，总结其发现，然后将这些发现移交给下一个代理。这一切都在幕后进行，因此对参与者来说，这似乎是一场流畅的对话，其延迟时间比人类主持人的延迟时间长约 400ms。

研究主题与讨论指南：睡眠科技

在研究中，我们没有询问一组简单的问题（比如询问人们如何使用 AI），而是希望模拟一项受益于深度访谈的真实探索性研究。我们为一家虚构的公司生成了一项研究，该公司旨在开发一款帮助起床和睡眠管理的产品。我们选择睡眠科技作为研究主题，因为它既现实（有许多 睡眠科技产品）又相对容易招募到参与者，因为毕竟每个人都要睡觉。

我们构建了讨论和主持人追问指南（附录 A），用于生成问题，以帮助了解人们的睡眠模式、当前的痛点、起床习惯，以及他们可能使用的任何技巧和技术。  研究的目标是发现人们对现有起床方法的挫败感，并识别潜在的起床新产品机会。详情见附录。

招募与筛选问卷

从丹佛都会区通过便利样本招募了 20 名参与者，参加一次 30 分钟的面对面访谈。在访谈前，参与者完成了一份筛选问卷，涵盖咖啡因使用、褪黑素摄入、睡眠配件以及可能影响睡眠的生活安排（例如有孩子或宠物）等主题。我们还收集了 AI 情感倾向（正面或负面），以便评估并在各条件下平衡 AI 态度。如果 AI 主持人表现不佳，那不会是因为我们将 AI 怀疑论者集中到了 AI 主持的小组中。人类和 AI 主持人都被指示在符合研究目标时，超越讨论指南进行追问。

与典型研究不同，无论是人类还是 AI 主持人，事先都无法访问筛选数据。我们保留这些信息是为了观察主持人能在多大程度上揭示先前已确立的事实。这将成为衡量追问效果的关键量化指标，我们将在未来的文章中介绍。

参与者分配：2 × 2 因子设计

我们将20名参与者随机分配至人类主持人或AI主持人条件，并与主持人性别进行交叉。这是一个完整的2 × 2被试间设计，每个单元格有5名参与者。两名MeasuringU研究人员（一名女性和一名男性）主持了人类会话。为了使条件尽可能相似，AI主持人使用了人类主持人的声音和形象构建，从而产生了十场AI主持的会话和十场人类主持的会话。

参与者抵达我们的丹佛实验室时受到欢迎，并由另一位未参与会话的MeasuringU研究人员陪同。参与者事先不知道他们将配对的是人类还是AI主持人。参与者坐在我们的实验室里，主持人从单向玻璃的另一侧连接进来，避免了与参与者的直接人际接触。参与者通过视频通话连接到AI或人类主持人。

这20名参与者平均分布在两个条件中（10场AI主持，10场人类主持）。两组中男性比例均略高（AI组为7/3，人类组为6/4），且年龄范围均为25–65+岁。对AI的态度（热情者、中立者或怀疑者）在各条件间大致平衡，因此不能将AI主持人表现较弱归因于某一组聚集了大量AI怀疑者。

表1：按主持人条件划分的对AI态度 (n = 20)。

研究结果

那么，参与者对AI说的话是否少于对人类主持人？

简而言之，是的。而且不只是少一点，而是少得多。我们使用了几种方法来评估参与者对AI与人类主持人说话的多少（见表2）。

表2：AI与人类结果比较。

AI主持的会话缩短了37%

参与者被安排在30分钟的时段内，但与研究会话通常情况一样，这30分钟包括设置时间和一些缓冲时间。一旦与AI或人类主持人开始访谈，参与者被告知访谈将持续约20分钟。

人类会话平均持续22分钟，而AI主持的会话仅持续14分钟（缩短了37%）。换句话说，尽管脚本和计划会话时长相同，参与者与人类主持人相处的时间比与AI主持人多57%。

AI主持人比人类主持人多说了80%

由于人类和AI主持人的平均会话时长差异很大，我们通过将会话中说的总词数除以会话总分钟数，得出每分钟词数 (WPM)，从而对主持人和参与者所说的词数进行了标准化。人类主持人平均说话速度为55 WPM，而AI主持人为99 WPM。也就是说，平均而言，AI主持人的说话量比人类主持人多80%。

参与者对AI主持人少说了45%

只要参与者也在说话，主持人多说并不一定是坏事。数据讲述了另一个故事。参与者对人类主持人说话的速度为98 WPM，而对AI主持人仅为54 WPM（少了45%——参见视频2中的示例）。

视频 2：参与者在面对同一个问题时，对 AI 主持人和人类主持人给出的不同回答示例。

AI 主持人主导了谈话

另一种观察参与者与 AI 主持人及人类主持人对话时长的方法是查看每次会话中说话字数的比例。该比例也讲述了类似的故事：在由人类主持的会话中，参与者说了 64% 的话，而在由 AI 主持的会话中，这一比例为 34%。在十次由人类主持的会话中，有九次参与者的发言量超过了主持人；而在十次由 AI 主持的会话中，参与者只有三次发言量超过主持人。

我们还查看了参与者与主持人说话字数的比例。与其他指标一样，AI 主持人说得更多。对于人类主持人说的每一个字，参与者平均回应 1.8 个字。而对于 AI 主持人，每个字仅引发 0.5 个字的回应（不到人类会话中的三分之一）。

这一结果与 Zhu 等人的研究不同，他们发现两种条件下参与者的总字数变化不大。这可能是由于他们的研究背景是在可用性测试中进行“边想边说”（think-aloud），而本研究是深度访谈（需要主持人从参与者那里挖掘更多信息）。

AI 主持人语速稍快且回应稍慢

我们测量了实际用于交谈的时间，发现 AI 主持人的平均语速比人类主持人快约 11%（这与 Zhu 等人的研究一致）。无论与谁交谈，参与者的语速都保持不变，因此改变的是谁在主导谈话，而不是说话的速度。

当我们查看参与者讲话结束到主持人开始讲话之间的延迟时，我们发现响应时间存在细微差异。AI 主持人需要 1.9 秒进行回应，而人类主持人需要 1.5 秒。人类主持人的平均反应速度略快，但不清楚参与者是否能感知到如此微小的差异（平均 400 毫秒）。

总结与讨论

一项包含 20 名参与者的对照实验，随机分配至人类或 AI 主持人进行的深度访谈条件，结果显示参与者对 AI 主持人的发言较少。具体而言，AI 主持人的会话时长缩短了 37%，参与者对 AI 主持人的发言减少了 45%，且 AI 主持人主导了对话，说了 64% 的话。人类主持人只说了约 34% 的话，这一比例符合对主持人的典型期望：让参与者多说。虽然这只是一项研究，但结果与 Zhu 等人的一致，他们也发现 AI 主持人比人类主持人说得多、说得快、且更频繁。

当然，字数和说话量的多少并不意味着 AI 主持人不好或无用。事实上，未来的提示词修改可能会改善结果。而且，即使参与者对 AI 主持人的发言仍少于对人类主持人的发言，如果从参与者那里提取的信息相同或更多，并得出相同的结论，那么谁说得太多可能并不重要。我们将在未来的文章中检查会话的内容以及提取的信息，进一步深入探讨实验数据。

附录

讨论指南

睡眠时间表：请告诉我一些关于你的睡眠时间表的情况。你通常什么时候睡觉和起床？如有必要可追问：你是每天在同一时间起床，还是根据日子不同而在不同时间起床？

唤醒方式：你如何确保在计划的时间醒来？（他们很可能会提到某种闹钟、应用程序或设备。）它是什么，它是如何工作的，它会失效吗？（如果他们说别人叫醒他们）他们是如何叫醒你的？有没有哪些天他们无法来叫你？在这些日子里，你做什么才能按时起床？（如果他们之前提到在不同日子以不同时间起床）既然你在不同日子以不同时间起床，你做什么来确保每天能在你想醒来的时候醒来？

睡眠安排：你是独自睡觉，还是有其他人和你睡在同一间房子里？（如果他们共用房间）他们和你同时起床吗？（如果不是）你们如何确保每个人都能按时起床而不打扰对方？

当前体验：到目前为止，使用当前的唤醒方式的体验如何？你喜欢用它来唤醒的哪些方面？你遇到过什么问题或困难？遇到这些问题后，你使用了什么变通方法或备用解决方案？

理想唤醒：早上被唤醒的理想方式是什么？

主持人追问指南

1. 目标：涵盖所有必需的追问领域，并挖掘与研究目标相关的更深层见解。

2. 必须解决必需的追问领域（不可协商，无论时间如何）——根据上下文调整措辞。

• • 如果已经提到：确认或深入挖掘，而不是重新提问。
  • 如果尚未涵盖：直接但自然地提问

3. 何时结束一个话题：

• • 你已经穷尽了该话题（参与者重复自己或没有更多补充）。
  • 参与者明确表示不知道或没有更多补充。
  • 这是一个不推进研究理解的次要细节。

4. 平衡：涵盖所有必需的追问 + 跟进与研究目标相关的有价值的话题分支。不要追逐无关紧要的细节，也不要对次要细节过于深入。