跳到正文
MeasuringU· Jeff Sauro, PhD • Lucas Plabst, PhD • Eva Sundberg, MPH • Jim Lewis, PhD·· 19 小时前精选AI 评分82

MeasuringU 实验显示人类主持人比 AI 挖掘出更多筛选器已知事实

Do AI and Human Moderators Uncover the Same Facts?

文章摘要

在一项针对20名参与者的随机对照研究中,人类主持人挖掘出的“筛选器已知但未告知”的事实比例显著高于AI主持人(35% vs 21%),尤其在睡眠环境等高相关性主题上优势明显(52% vs 34%)。尽管AI主持人提问次数更多,但参与者向人类主持人主动透露的信息量是AI的两倍,且人类主持人更倾向于偏离脚本进行追问。控制会话时长后,人类的优势依然显著,表明差距主要源于参与者更愿意自发分享而非主持人的直接引导能力。该研究利用预先收集的客观事实作为基准,为评估AI辅助用户研究的实际效能提供了可复用的量化方法,同时也指出了当前AI在捕捉非结构化、隐性需求方面的局限。

推荐理由

通过筛选器已知事实的盲测对比,量化了人类与AI主持人在挖掘未提及关键信息上的差异,揭示了主动分享机制在访谈中的核心作用。

正文 · AI 翻译

Feature image由于参与者的时间非常宝贵,你希望确保从每次会话中获得最大收益。

你怎么知道主持人是否遗漏了什么?通常很难知道遗漏了什么,这使得衡量主持人的有效性(无论是人类还是 AI)变得困难。

我们初步尝试了衡量 AI 主持人的有效性。我们为一家虚构的科技公司开展了一项研究,该公司希望开发新的睡眠技术,通过采访人们了解他们的睡眠习惯。

我们在一项包含 20 名参与者的随机研究中比较了 AI 和人类主持人。人类和 AI 主持人使用相同的讨论指南来识别痛点。在该研究中,我们发现参与者对 AI 说的话少得多。AI 会话缩短了 37%,参与者每分钟说话的字数减少了 45%。当两名研究人员对转录稿进行主题编码时,人类会话平均涵盖八个主题中的 6.9 个,而 AI 会话为 5.0 个。

对于讨论指南中询问的主题,AI 会话比人类会话落后约 8 个百分点。对于它未询问的两个主题,差距约为 30 个百分点和超过 70 个百分点。最大的遗漏是关于睡眠环境(温度和噪音)的主题,这在大多数人类会话中出现,但在几乎没有 AI 会话中出现。

但主题本身并不客观。编码者决定什么算作一个主题,且编码者之间的一致性仅为中等偏下。为了进行更严格(且更客观)的测试,我们需要关于每位参与者的已知外部事实,而这些事实是主持人不知道的。

幸运的是,我们可以从用于招募参与者的筛选问卷中获取这些事实。在会话之前,每位参与者都完成了一份简短的筛选调查,询问他们的设备、宠物、孩子、助眠用品、饮食以及居住地点和方式。我们故意将这些信息对人类和 AI 主持人保密。

在本研究中,我们描述了如何利用这些筛选数据来观察 AI 和人类主持人能在多大程度上挖掘出这些已知但未披露的自我报告事实(其中许多与研究目标相关)。我们探讨了以下研究问题:

  • 在 AI 与人类会话中挖掘出了多少筛选事实?
  • 每种主持人遗漏了哪些类型的事实?
  • 差距是否取决于讨论指南是否涵盖了该主题?
  • 这种差距仅仅是因为人类会话更长吗?
  • 是主持人引导出了这些事实,还是参与者主动提供的?

关注 MeasuringU 以获取最新资讯。

每周将最新的研究洞察直接发送到您的收件箱。

实验研究设置

我们使用 Gemini 3 Flash 构建了我们的 AI 主持人,并采用了两位 MeasuringU 研究人员的逼真头像和声音——这两位研究人员也是人类会话的主持人。二十名丹佛地区的参与者来到我们的实验室,并被随机分配给 AI 或人类主持人(各十名)。AI 和人类主持人都遵循相同的五提示讨论指南,针对一家正在开发唤醒和睡眠产品的虚构公司,并且都被要求在有助于实现研究目标时超越指南进行深入探究。完整的指南见上一篇文章的附录。

筛选问卷要求参与者勾选适用于自己的选项,共六个多选问题(过去两周的消费情况、拥有的设备、宠物、住在家里的孩子、助眠用品如药物或维生素的使用,以及睡前或睡眠期间使用的物品如耳塞或眼罩)。两个开放式问题询问居住情况,对于追踪睡眠的人,还询问了追踪设备。这产生了256个已知事实:AI主持的参与者中有126个,人类主持的参与者中有130个(人均12.6 vs. 13.0,几乎相等)。计数略有不同仅因为参与者选择的内容不同。

无论是人类还是AI主持人,都没有看到筛选问卷。会话中出现的任何筛选事实都必须来自对话。

我们如何识别筛选事实

我们将每个筛选问题中的可选选项计为事实。例如,一个筛选问题询问参与者在睡前或睡眠期间使用什么。图1显示了一位参与者(P16)的回答。他们勾选了三项,给了我们三个需要在他们的会话中寻找的事实。

One participant’s (P16’s) answers to a screener question (captured from the MUiQ® platform). Each checked item was a fact we knew about this participant but withheld from the moderators.

图1:一位参与者(P16)对筛选问题的回答(从MUiQ®平台捕获)。每个勾选的项目都是我们知道但向主持人隐瞒的关于该参与者的事实。

在所有筛选问题中,这位参与者有14个需要检测的事实,从咖啡和苏打水到iPhone和房子。研究人员使用Claude在每个完整转录稿中搜索每位参与者筛选事实的证据,记录是或否以及支持性引文。然后研究人员手动验证了Claude在几个会话中识别出的内容。对于这位参与者,耳塞和眼罩是命中项(“我戴面具。我也用耳塞。”)。遮光窗帘从未被提及,因此是未命中项。

与编码主题不同,这主要是一项机械性的匹配练习:事实要么在会话中出现,要么没有。话虽如此,我们对提及内容的解释存在一些模糊性。这位参与者说了“我的手机”但从未说“iPhone”,我们将其计为命中。但由于我们对AI和人类会话应用了相同标准,尽管存在模糊性,这似乎是一条公平的比较规则。

第二次由Claude辅助的检查重新核查了所有256个事实。它为所有71个命中找到了支持性引文,并标记了3个未命中以供再次查看,所有这些仍保持为未命中。Claude还统计了每位发言者的字数,并将每个命中分类为主持人引出或自愿提供。两次检查均未对哪些会话是AI主持的设盲,且第二次从第一次的代码开始,因此这是验证,而非独立编码。

检测率

衡量AI与人类主持人有效性的一个简单起点是汇总所有跨参与者检测到的事实,看看谁发现了更多。十位AI主持的参与者有126个事实,其中26个被发现,检测率为21%。作为对比,十位人类主持的参与者有130个事实,其中45个被发现,检测率为35%。

但这把所有事实都视为独立的,而它们并非如此。来自同一参与者的事实往往一起出现(或不一起出现),而且参与者勾选的方框数量各不相同(从 6 个到 27 个事实不等)。汇总事实也无法支持有效的统计检验,因为检验 256 个事实会夸大比较的精确度。因此,我们的主要分析使用每个参与者的检出率(浮现的事实 ÷ 其筛选表上的事实),并通过 Welch’s t-tests(利用小数自由度来补偿组间变异性的差异)在十名 AI 参与者和十名人类参与者之间进行比较。

研究结果:人类主持的会话浮现了更多筛选表事实

平均而言,由人类主持的参与者在会话期间透露了其筛选表事实的 35%,而由 AI 主持的参与者为 21%(与简单的汇总方法相差不远)。这 16 个百分点的差异具有统计学显著性(t(17.1) = 3.51, p = .003; 95% CI: 7 to 27 points)。这相当于每次人类会话约 4.5 个事实,而每次 AI 会话为 2.6 个事实(p = .01)。

分布范围很广。AI 参与者的比例从 11% 到 43% 不等;人类参与者从 19% 到 53% 不等。只有一次 AI 会话(P1,43%)超过了人类平均值。

我们关于参与者的大部分信息从未被提及:人类会话中约三分之二、AI 会话中五分之四的筛选表事实仍然未被发现。这不一定是失败。这项研究的目标,就像大多数研究访谈一样,并不是要扮演筛选表侦探;而是要了解人们如何入睡和醒来。因此,一个更有用的问题是询问每位主持人遗漏了哪些事实。

差距在哪里

这些差距分布并不均匀,而且并非所有筛选表事实都同等重要。一些筛选表事实,如快餐或复合维生素,与设计更好的睡眠设备关系不大。另一些事实,如咖啡因或酒精,虽然会影响睡眠,但与人们如何醒来的方式隔了一层。优秀的主持人(无论是人类还是 AI)在这些方面花费的时间会更少。因此,我们将筛选表类别按照其与“了解人们如何入睡和醒来”这一研究目标的相关性进行了分组(表 1)。

与研究的相关性(类别)AI %人类 %差距(点数)检验
高:设备、睡眠环境、宠物、儿童34%52%+18t(18) = 2.5, p = .02
中:消费习惯、助眠用品 4% 7%+ 3t(13.9) = 0.5, p = .54
低:居住情况20%90%+70Z = 3.1, p = .002

表 1:按与研究目标的相关性分组的每位参与者筛选表事实的平均浮现百分比。我们在看到结果后才对类别进行分组,因此请将其视为探索性分析。睡眠追踪设备未包含在内,因为它们与设备项目重复。居住情况的 p 值来自N−1 two-proportion test,因为每位参与者恰好有一个居住情况事实。

如表 1 所示,人类会话浮现的最重要事实的比例显著高于 AI 会话(52% vs. 34%)。最明显的遗漏是睡眠环境。耳塞、眼罩、遮光帘和风扇是人们已经用来管理睡眠和醒来的物品,也正是虚构客户正在探索的产品领域。人类会话浮现了这 16 个事实中的 6 个(38%),而 AI 会话仅浮现了 18 个中的 2 个(11%; Z = 1.78, p = .07)。

回想图 1 中的参与者选择。耳塞和眼罩之所以被提及,是因为人类主持人问了:“为了改善你的睡眠质量,你还会做些什么吗?”一位由 AI 主持的参与者(P8)勾选了同样的两项。这两项都没有被提及(表 2)。AI 从未询问参与者目前做什么来睡得更好。它最接近的问题是关于醒来时理想房间的情况(“如果你能改变早上 6:00 房间的‘氛围’或环境中的一件事……”),而参与者谈论的是光线。

筛选项目P16(人类主持人)P8(AI 主持人)
耳塞☑ 已勾选,✔ 被提及☑ 已勾选,✘ 未被提及
眼罩☑ 已勾选,✔ 被提及☑ 已勾选,✘ 未被提及
遮光窗帘☑ 已勾选,✘ 未被提及未勾选

表 2:在人类主持和 AI 主持的会话中相同的筛选项目。

这与我们上一篇文章中的睡眠气候主题一致。指南从未询问过睡眠环境,而在六次人类提及中,有三次是主持人偏离脚本去询问的结果(见下文)。

最大的差距出现在相关性最低的事实上:人们住在哪里。十位由人类主持的参与者中有九位提到了他们的居住情况,而十位由 AI 主持的参与者中只有两位提到。没有主持人主动询问;这些信息是在闲聊中出现的,例如“我住在公寓里”(Human, P20)。

中等相关性的事实在两种主持人那里都很少出现。在参与者过去两周消费的所有物品中,只提到了咖啡和茶。酒精、苏打水、快餐和香烟从未被提及,助眠用品(如药物、维生素)仅出现了两次,且都是在人类主持的会话中。

与我们之前的文章一样,讨论指南未涵盖的主题之间的差距(17 个百分点)比已涵盖的主题之间的差距(12 个百分点)更大,但由于每组只有十名参与者,这种差异在统计上不显著(p = .74)。

为什么人类会话挖掘出了更多内容?

这不仅仅是会话长度的问题。在较长的会话中,参与者对人类主持人说的话大约是对 AI 主持人说的两倍(每次会话 2,028 vs. 988 字,t(17.9) = 3.8, p = .001)。使用协方差分析控制每位参与者的字数后,对人类的这一优势影响甚微,该优势从未经调整的 17 个百分点变为 15 个百分点,仍然具有显著差异(t(17) = 2.3, p = .03)。这与两名在 AI 主持会话中的参与者情况一致,他们说得和典型的人类主持会话参与者一样多,但只挖掘出了可用事实的 18% 和 15%,不到人类主持人平均值 37% 的一半。而且 AI 并不沉默:AI 主持人提出的问题比人类更多(每次会话 38 vs. 29 个提问轮次,t(17.9) = 3.6, p = .002)。简而言之,AI 问得更多,却听得更少。

利用 AI 快速准确扫描文本的能力,我们让 Claude 审查了 MUiQ 转录稿。我们将每个挖掘出的事实按其首次提及进行分类(表 3)。如果主持人询问了该事实或其主题(如在听到“我的 iPhone”之前问“你用什么当闹钟?”),则该事实属于主持人引导。如果它在参与者回答其他问题时出现(如在回答如果闹钟失效会发生什么时提到“家人在房子里走动”),则该事实属于自愿提供。

每次会话的事实数AI人类差距 (H-A)检验
主持人引导1.62.00.4t(18) = 0.77, p = .45
…来自偏离指南的追问0.10.50.4t(11.5) = 1.4, p = .19
主动提及1.02.51.5t(13.1) = 3.1, p = .008

表 3:每次会话中浮现的筛选器事实,按首次出现方式分类(使用 Claude 进行分类;未对实验条件设盲)。

人类主持人和 AI 主持人通过遵循指南中的唤醒方法和睡眠安排提示(手机、手表、宠物)引出了大致相同数量的事实。差异在于参与者自发提到的内容:每场人类主持的会话为 2.5 个事实,而每场 AI 主持的会话为 1.0 个。所有 11 次关于居住情况的提及均为主动提供。

人类主持人确实更多地脱离了脚本。在三场人类主持的会话中,主持人询问了助眠用品或睡眠环境(“你试过遮光窗帘吗?你试过白噪音吗?”)。这引出了五个事实:智能灯光、褪黑素、遮光帘、耳塞和眼罩。AI 的一次偏离指南的追问引出了一个 Apple Watch。

总结与讨论

在一项针对 20 名参与者的随机研究中,参与者被分配给使用相同讨论指南的 AI 主持人或人类主持人。我们测量了在筛选器上捕获但从未分享给主持人的事实在会话中被检测到的数量。这使我们能够调查人类主持人和 AI 主持人在发现隐藏事实方面的异同。

人类主持的会话事实检出率高出约 75%。

平均而言,人类主持的参与者透露了其筛选器事实的 35%,而 AI 主持的参与者为 21%(p = .003),即每场会话约为 4.5 个事实对比 2.6 个。

人类主持的会话揭示了多约 50% 的最相关事实。

对于与人们如何睡觉和醒来相关的事实(这些接近主要研究问题),人类主持的会话揭示了 52%,而 AI 主持的会话为 34%(p = .02),主要由睡眠环境因素驱动。

人类并没有问得更多;参与者主动提供的更多。

两种类型的主持人通过提问引出的事实数量大致相同(每场会话 2.0 个对比 1.6 个,p = .45)。差距在于参与者自发提到的事实(2.5 个对比 1.0 个,p = .008)。参与者对人类主持人说了两倍多的话,但即使在使用协方差分析控制字数后,这一差距在统计上仍然显著(相差 15 个百分点,p = .03)。

人类主持人更常脱离脚本。

在三场人类主持的会话中,主持人询问了助眠用品或睡眠环境,这些是指南从未涵盖的话题,从而引出了五个事实(智能灯光、褪黑素、遮光帘、耳塞和眼罩)。AI 仅有一次脱离脚本。这种差异在统计上不显著(p = .19),但这与我们本系列之前的文章一致,在那篇文章中,人类主持的会话涵盖了指南从未询问的睡眠气候问题。

局限性与未来研究。

这是一项仅包含一位主持人、两位人类调节者和一种 AI 配置的研究。每组仅有十名参与者,我们只能检测到具有统计显著性的巨大差异(但某些差异确实很大)。事实是通过未对实验条件设盲的 AI 识别的,而非由独立编码员完成(尽管人类研究人员检查了 AI 的分析结果)。会话中筛选器事实的检测百分比取决于我们对转录文本编码的严格程度(例如,区分 iPhone 与手机),但对 AI 和人类调节者应用了相同的标准。

结论:

人类调节者挖掘出了更多筛选器事实,包括更多与研究最相关的事实。这种优势主要源于参与者向人类透露的信息多于向 AI 透露的信息(即使 AI 提出的问题更多)。人类调节者也更频繁地偏离脚本,深入探讨主持人指南未涵盖的主题,这与我们在本系列前篇文章中报告的结果一致。

原作者保留版权;来源:MeasuringU。本站维护者确认获准转载,非公共领域或开放许可证声明。 原文来源(转载授权由站点维护者确认) · 中文译文由 CxHub 客户体验社区生成,并非官方译文。

来源:MeasuringU · measuringu.com