MeasuringU 随机对照试验：AI 主持人在非预设主题深度挖掘上落后于人类

我们真的能用 AI 取代人工主持人吗？

就在几个月前，这似乎还是个疯狂的想法，但技术的进步速度几乎与那些被过度炒作的 AI 营销承诺一样快。

要理解 AI 的主持能力有多强，我们需要将其表现与人类进行比较。实际上，将 AI 与人类表现进行对比的数据少得令人惊讶。

因此，我们在 MeasuringU 做了我们常做的事：收集数据以帮助回答一些问题：

• 参与者对 AI 说的话是否比对人工主持人更少？
• 参与者向 AI 和人工主持人提供的洞察深度是否相同？
• AI 的主持能力是否与人类相当？
• 参与者是否愿意与 AI 主持人交谈？
• 研究结果是否能推广到不同的模型或提示词？

我们构建了一个 AI 主持人，并在随机对照试验（20 名参与者）中对其进行了测试。

我们的初步分析显示，参与者对我们的 AI 主持人说得很少。由 AI 主持的会话时长缩短了 37%，参与者每分钟说话的字数减少了 45%（54 字 vs. 98 字）。

当然，说得多并不一定更好。如果 AI 主持人能用更少的文字引出同样的洞察，那么较短的会话可能无关紧要。因此，下一个问题是：参与者向 AI 和人工主持人提供的洞察深度是否相同？我们将通过两篇文章、采用两种方法来评估这一点：主题重叠度（本文）以及对参与者已知事实的挖掘程度（本系列下一篇）。

关注 MeasuringU 以获取最新资讯。

每周将最新的研究见解直接发送到您的收件箱。

实验研究设置

我们基于 Gemini 3 Flash 构建了我们的 AI 主持人，配备了两位 MeasuringU 研究人员（他们同时也负责主持人类会话）的照片级逼真虚拟形象和声音。它由几个按顺序工作的智能体组成，每个智能体涵盖一个广泛的主题并将摘要传递给下一个，因此在参与者看来就像是一场流畅的对话。

来自丹佛地区的 20 名参与者被随机分配给人类或 AI 主持人，并与主持人性别交叉（这是一个 2 × 2 设计，每组五人）。他们坐在我们的丹佛实验室里，而主持人则通过视频从单向玻璃的另一侧连接进来。男性略多，而对 AI 的态度（热情者、中立者、怀疑者）在各条件下分布相对均衡。

我们模拟了一项针对一家虚构公司的探索性研究，该公司正在开发一款帮助起床和睡眠管理的产品。目标是发现当前在起床方式上的痛点以及潜在的新产品机会。值得注意的是，这不像 Anthropic 的访谈员研究那样是对许多访谈中的调查问题答案进行总结。相反，这是一次更真实的深度访谈，常见于探索性 UX 研究中。我们从脚本和追问开始，然后对主题进行编码以得出见解。

主持人依据包含五个提示词的讨论指南开展工作（见表 1 及附录中的完整指南）。无论是人类还是 AI 主持人，都被要求在有助于研究目标时超越指南进行追问。

表 1：人类和 AI 主持人使用的五个讨论指南提示。

我们如何识别主题

两位未主持任何会话的 MeasuringU 研究人员（编码员 A 和 B）阅读了全部 20 份转录文本，并在没有预设主题列表的情况下独立进行编码。他们的方法有所不同；编码员 A 将发现归纳为五个广泛的主题和十一个子主题，而编码员 B 列出了 24 个具体的代码而未进行分组。这些不同的编码方案使得匹配代码变得稍微困难一些，但这种差异在应用型 UX 研究中很典型（强调外部效度而非内部效度）。编码员并未被告知哪些会话是由 AI 主持的，但盲法几乎形同虚设，因为两位编码员都表示他们通常能分辨出哪些是 AI 主持的。

例如，针对唤醒方法提示（“你如何确保在你打算的时间醒来？”），一位参与 AI 会话的受访者表示他们在非工作日不设闹钟：“我在非工作日不设闹钟，但我的狗会把我叫醒。”两位编码员都将这位受访者标记在宠物标签下：编码员 A 标记为“宠物作为主要和次要闹钟系统”，编码员 B 标记为“早上被宠物叫醒”。第三位也未进行访谈的研究人员将子主题和代码归类为主题。例如，上述两个标签被归入 共享卧室 这一主题。

每个主题结合了编码员的几个标签。例如，共享卧室主题包括“早上被宠物叫醒”和“伴侣有不同的睡眠时间表”这两个标签。如果参与者符合其中任何一个标签，该会话即被视为包含此主题。

最后，我们还让 Claude 检查会话编码和主题。由于我们此前报告过 ChatGPT 对开放式评论的主题编码效果与人类相当，我们认为这是一个很好的测试。Claude 的任务是查看这八个主题，并检查每个主题的证是否出现在 20 份转录文本中。Claude 是对人类编码的一种校验。它也能获知实验条件，并且已经看到了按条件分类的人类编码统计结果。因此，实际上共有三位编码员——两位独立的人类编码员和一位 AI 编码员。

研究结果

编码员的工作得出了八个主题（见表 2），其中七个主题由 AI 和人类主持人共同发现。最常见的是 生物钟 vs. 日常日程 和 共享卧室（占会话总数的 90%，取 AI 和人类列的平均值），其次是 闹钟（80%）、时间是范围（73%）以及 卧室作为睡眠和唤醒工具（68%）。最少见的是 梦境唤醒（62%）和 尝试后放弃的设备 (38%)。所有组间百分比比较均使用 N−1 双比例检验进行分析。

编码员一致性为中等至一般

我们分两步测量一致性。首先，我们检查了编码员独立发现了多少主题。每位人类编码员识别出七个主题，其中六个相同，两个不同（每位编码员各有一个不同），因此 Claude AI 编码员需要审查的主题总数为八个。对于六位人类编码员共同发现的六个主题，我们检查了每位编码员在 20 次会话中判断该主题出现的频率，这为我们提供了每对编码员 120 个判断结果。两位人类编码员在 120 个判断中有 87 个达成一致（73%），即双方都标记主题存在或都标记主题不存在。作为 Claude 审查主题的示例，Claude 和编码员 A 都在八次会话中发现了睡眠气候（关于该主题的更多信息见下文），并在十次会话中发现其不存在，在 20 次会话中有 18 次达成一致（90%）。对于“梦境唤醒”这一主题，他们仅在 20 次会话中的 8 次达成一致（40%）。

其次，我们使用科恩卡帕系数（κ）测量了校正偶然因素后的一致性，因为当几乎每次会话都有某个主题时，百分比一致性可能会被夸大（κ = 0 表示与随机猜测无异，1 表示完美一致）。人类编码员的 73% 转换为 .38 的卡帕值，属于中等程度的一致性。Claude 与编码员 A 在 74% 的判断上一致（κ = .40），与编码员 B 在 80% 的判断上一致（κ = .44，中等程度一致性）。这一水平低于我们在早期分析中对简短调查评论发现的约 .70 的高度一致性 κ 值，但考虑到开放式主题这一限制较少的练习，这是可以预期的。

人类主持人具有优势

在八个主题中的七个上，人类会话的出现频率高于 AI 会话（在所有编码员中平均高出 7 到 73 个百分点），而 AI 仅在一个主题（闹钟）上更高（高出 7 个百分点）。只有一个主题差距——睡眠气候——对所有三位编码员而言具有统计显著性（p < .01）。每次会话中，人类会话在 Claude 编码的八个主题中平均包含 6.9 个，而 AI 会话平均包含 5.0 个（p = .004），人类编码员也显示出相同的方向（七主题中分别为 4.7 vs. 3.4，p = .03；5.6 vs. 4.6，p = .06）。

表 2：按编码员划分的包含每个主题的会话数（每种情况 10 次）（A 和 B 是人类编码员）。% 是拥有该主题的编码员的平均值。差距 = 人类 % − AI %。主题 8（睡眠气候）由每位编码员以不同方式定义：A 的定义包括噪音，B 的定义仅包括温度，而 Claude 的定义包括温度或噪音。

在我们的前一篇文章中，我们发现参与者在接受人类采访时说话占比为 64%，但在接受 AI 采访时，这一比例降至 34%——大约减半。换句话说，AI 主持人用更少的对话触及了大部分相同的主题，但频率略低。

睡眠气候：人类主持人发现的一个关键主题

当然，并非所有主题都同等重要，因此单纯统计主题数量可能会掩盖部分情况。大多数主题源自讨论指南中的话题，AI 和人类主持人都会询问这些话题。然而，指南从未提示主持人去询问睡眠环境。尽管如此，人类主持人主动深入探讨了这一点，参与者对温度和噪音也有很多话要说。睡眠气候直接关系到寻找新产品机会这一研究目标。参与者已经在通过调节温度来辅助入睡和醒来，这从他们对人类主持人的评论中可见一斑：

• “我有一台床上喷气机……它能吹出暖风或冷风……早上我们也会用它。”
• “随着太阳升起，温度也能回升一些。”

根据编码员的不同，睡眠气候出现在十场人类主持的访谈中的六到九场，而在十场 AI 主持的访谈中仅出现零到一场，这一差距对于三位编码员来说都是显著的。Claude 标记的那一场 AI 访谈处于临界状态，因为 Claude 寻找了这个主题而人类编码员没有。两位编码员都是在按条件进行比较之前自行创建了该类别（对于编码员 A 是一个子主题，对于编码员 B 是一个单一代码），但我们在看到它因条件不同而产生差异后将其拆分为第八个主题，因此请将其视为探索性结果。

人类主持人略微偏离了脚本

在包含该主题的九场人类访谈中，主持人至少问了一个指南中没有的环境问题。在其中四场中，他们开启了这个话题：“比如，你房间的温度怎么样？”（CD）、“你有拉上百叶窗吗？”（BO）、“你试过白噪音吗？”（DF）、“关于温度有什么想说的吗？”（FT）。在其他五场中，参与者提出了这个话题，主持人随后进行了跟进。AI 在三场访谈中询问了房间情况，但仅作为理想唤醒问题中的一个假设情境：“……你房间里的其他东西——比如灯光、温度，甚至气味……”（AI, CP）。参与者回答的是咖啡的气味。人类主持人询问的是当前的房间状况并获得了具体的行为信息。AI 询问的是一个假设情境，几乎没有获得什么信息。

这项针对 AI 主持人的测试有多难？

我们的讨论指南在提供讨论要点方面做得相当不错。八个主题中有五个直接对应一个提示，第六个部分对应，因此两种主持人都会询问这些主题。这使得主题比较成为一项相对容易的任务。它主要衡量主持人是否覆盖了脚本，而 AI 在这方面做得很好。

表 3：根据指南是否涵盖该主题划分的差距（人类 % − AI %），按人类主持与 AI 主持访谈中出现频率之间的差距排序。

在六个有引导的主题中，AI 主持的会话平均比人类主持的会话低约 8 分。对于指南未涵盖的两个主题，差距分别为 30 分和 73 分。结论很实用：写好脚本。如果指南明确列出了话题，AI 主持人能做得不错，尽管不如人类主持人好。当然，探索性研究之所以存在，是因为你无法预先知道要添加到脚本中的每一个问题。更难的测试是主持人是否能挖掘出参与者在筛选问卷中分享但指南从未询问的细节，我们将在本系列的下一篇文章中讨论这一点。

摘要与讨论

一项随机对照试验的结果如下：20 名参与者被随机分配给 AI 或人类主持人，使用相同的研究脚本和追问指令：

两名独立工作的人类编码员发现了八个主题，一致性适中。两名研究人员独立对所有 20 份转录文本进行编码，第三名人类研究人员将他们的标签归类为主题，Claude 检查每个会话是否包含这些主题（作为第三名编码员）。人类编码员共同发现了六个主题，各自单独发现了两个主题。关于某个主题是否在会话中出现的一致性为中等至良好（κ = .38 到 .44）。

AI 在追问方面表现尚可，但人类主持人做得更好。人类会话中包含八个主题中的七个的频率高于 AI 会话。AI 会话平均包含八个主题中的 5.0 个，而人类会话为 6.9 个（在 Claude 的编码中 p = .004，人类编码员的结果方向一致）。AI 达到其他七个主题所需的参与者字数约为人类的一半。

人类发现了一个 AI 遗漏的重大主题。我们称之为“睡眠环境”的主题出现在十个人类会话中的六到九个里，而在十个 AI 会话中仅出现零到一个（每位编码员的 p < .01）。讨论指南从未提示主持人询问睡眠环境，但人类主持人稍微偏离了脚本并进行了询问。作为回应，参与者报告了与寻找新产品机会这一既定目标直接相关的具体行为，因此这对 AI 主持人来说并非无关紧要的遗漏。

好的脚本可以缩小大部分差距。在指南涵盖的话题上，AI 和人类会话在主题频率上接近（相差约 8 分）。在未涵盖的话题上（特别是睡眠环境/温度），人类主持人领先了 30 分和 73 分。

局限性与未来研究：这只是一项使用单一研究脚本和我们 AI 主持人的研究，因此需要更多的重复验证。然而，这种随机研究设计为比较 AI 性能与人类性能提供了一个急需的数据点。研究结果表明，人类主持人的价值不在于覆盖计划中的问题（AI 在这方面做得很好），而在于好奇的主持人在访谈中途添加的计划外问题。将这些问题写入指南很容易，但你无法预先规定所有可能的情景。如果可以的话，就不需要探索性研究或深度访谈了。我们尚未测试在指南中添加此类问题是否能缩小差距。在本系列的下一篇文章中，作为有效性的衡量标准，我们将考察 AI 和人类主持人挖掘参与者未曾透露的事实的能力。

附录

讨论指南

睡眠作息。请跟我讲讲你的睡眠作息。你通常什么时候睡觉和起床？如有需要可追问：你是每天在同一时间醒来，还是根据日子不同而在不同时间醒来？

唤醒方式。你如何确保在预定时间醒来？（他们很可能会提到某种闹钟、应用程序或设备。）它是什么，它是如何工作的，它是否会失效？（如果他们说别人叫醒他们）他们是如何叫醒你的？是否有天他们无法来叫你起床？在那几天里，你做什么来确保按时醒来？（如果他们之前提到在不同日子以不同时间醒来）既然你在不同日子以不同时间醒来，你做什么来确保每天都能在你想醒来的时候醒来？

睡眠安排。你是独自睡觉，还是有其他人和你睡在同一间房间？（如果他们共用房间）他们和你同时醒来吗？（如果不是）你们如何确保每个人都能按时醒来而不打扰对方？

当前体验。到目前为止，使用当前的唤醒方式体验如何？你喜欢用它来醒来的哪些方面？你遇到过什么问题或困难？在遇到这些问题后，你使用了哪些变通方法或备用解决方案？

理想唤醒。早上被唤醒的理想方式是什么？

主持人追问指南

1. 目标：涵盖所有必需的追问领域，并揭示与研究目标相关的更深层见解。
2. 必需追问领域必须涉及（不可协商，无论时间如何）。根据语境调整措辞。如果已经提及，则确认或深入挖掘而不是重新询问。如果尚未涵盖，则直接但自然地提问。
3. 何时结束一个话题：你已经穷尽了该话题（参与者重复自己或没有更多补充），参与者明确表示不知道或没有更多补充，或者这是一个不推进研究理解的次要细节。
4. 平衡：涵盖所有必需的追问，并跟进与研究目标相关的有价值的离题内容。不要追逐无关的细节或在次要细节上过于深入。

包含示例的八大主题

首字母为参与者代码。主题编号与表 2 匹配。

1. Body clock vs. daily schedule. People wake on their own, but obligations decide when they must be up.
   • “大概每 10 次中有 9 次我反正都在闹钟响之前醒了。” (Human, GE)
   • “我想什么时候醒就什么时候醒。”后来：“我是那种确实需要结构化的人。” (AI, CP)
2. Sharing the bedroom. Partners and pets constrain the routine and sometimes act as the alarm.
   • “我在非工作日不设闹钟，但我的狗会把我叫醒。” (AI, EW)
   • “我有点偷偷溜出去了。” (Human, HK)
3. Alarms: tolerated, not liked. Phone alarms are jarring, easy to dismiss by accident, or unreliable.
   • “我讨厌闹钟响。这通常是一种非常令人惊吓且不舒服的醒来方式。” (Human, FT)
   • “我只是有三个不同的闹钟，而且我都手动设置它们。” (AI, LB)
4. Times are ranges, not exact. Bedtime and wake time are windows, not points.
   • “大概在晚上 10 点到 11 点之间……那通常是我睡觉和醒来的时间段。” (Human, BO)
   • “在六点四十五分到七点半之间醒来。” (AI, RG)
5. The bedroom as a sleep-and-wake tool. People manage light, noise, and temperature.
   • “我们在卧室留着一扇百叶窗开着，而且我们朝西。所以有很多阳光。” (AI, RG)
   • “我和我妻子更喜欢绝对的安静。” (Human, BO)
6. The dream wake-up. Asked to imagine anything, people describe waking gradually.
   • “有些东西会叫你的名字。我的名字。” (AI, VO)
   • “如果它的音量能真正缓慢地提升，那会非常好，但我是说，慢得让人痛苦。” (Human, FT)
7. Gadgets tried and dropped. Trackers, smart lights, and apps get abandoned for the phone.
   • “这是一项我尝试后因不适合自己而放弃的改变。” (AI, BF)
   • “它发出的噪音可能是我误开过的最可怕的东西，而且很快就扔掉了。” (Human, DF)
8. Sleep climate. People control temperature and noise to sleep and wake. More examples:
   • “暖气会开启。并让房间变暖，这样当你进去洗澡时就不会那么冷。” (Human, CD)
   • “温度或甚至光线会在你如何被唤醒方面起作用吗？” (AI, NM)。参与者说，“关于温度我不确定。”

Claude 的编码规则

当参与者满足以下标准时，Claude 将主题标记为在会话中存在。通话在工作簿中被标记为高置信度或边缘情况。