MeasuringU 随机对照试验:AI 主持人在非预设主题深度挖掘上落后于人类
在探索性用户研究中,AI 主持人能否像人类一样挖掘出未被脚本预设的深层洞察?MeasuringU 通过一项包含 20 名参与者的随机对照试验发现,虽然 AI 能较好覆盖讨论指南中的既定话题,但在挖掘未预设的关键主题(如睡眠环境)时,人类主持人表现显著更优。 研究团队构建了 Gemini 3 Flash AI 主持人,并与人类主持人在同一虚构产品的唤醒方式探索性访谈中进行对比。结果显示,AI 主持人的会话时长比人类短 37%,参与者每分钟发言字数少 45%。尽管 AI 用更少的语言触及了大部分相同主题,但在八个识别出的主题中,有七个在人类主持的会话中出现频率更高。最显著的差异在于“睡眠气候”这一主题,它在 60%-90% 的人类主持会话中被挖掘出来,而在 AI 主持会话中几乎为零(0%-10%)。这是因为人类主持人会即兴追问未在指南中列出的环境问题,而 AI 仅按脚本提问或进行假设性询问,未能引导出具体行为细节。 对于指南已覆盖的主题,AI 与人类的差距平均仅为 8 个百分点;而对于指南未覆盖的主题,差距扩大至 30 到 73 个百分点。
推荐理由:随机对照试验显示,在预设脚本覆盖的主题上AI主持人与人类差距较小,但在挖掘未预设的深层洞察时,人类主持人凭借即兴追问显著优于AI。