Dscout 实测 AI 访谈主持人:从失控追问到结构化控制的体验重构
We Tested Our AI Moderator by Letting It Interview Our Testers. Here’s What Broke (and What We Rebuilt)
AI 在用户研究中的核心价值不在于模型的自主对话能力,而在于对交互节奏与研究者控制权的精准设计。Dscout 通过让 AI 主持人反向采访测试者发现,无约束的“好奇心”会导致令人疲惫的连环追问,且语音活动检测常误判停顿造成打断。针对早期测试中暴露的提示词漂移、界面认知摩擦及缺乏视觉刺激等问题,团队将产品逻辑从“自主对话画布”转向“结构化问卷范式”。新版引入逐字提问模式、手动继续按钮以消除延迟干扰,并增加图像刺激支持。这一转变证明,赋予参与者明确的节奏控制权、优先建立护栏而非追求对话新颖性,才是提升 AI 辅助研究体验的关键。
Dscout通过让AI主持人采访测试者,揭示对话式研究中交互设计比模型能力更关键,强调研究者对提问顺序和措辞的控制权。
大多数科技营销把对话式 AI 当作一场智力竞赛:谁的 LLM 最聪明,谁在基准测试中表现最好,谁的机器人听起来最像真人。但如果你真正从事研究工具的设计工作,你会很快发现,模型本身只占成功的一半。剩下的全是交互设计。
软件 QA 对按钮、数据库和网络延迟都有标准操作手册。但你无法对尴尬的停顿进行单元测试。你无法捕捉到机器人在 JSON 响应中搞砸客户品牌名称时那种精确的令人尴尬的感觉。而且,除非有真人亲身体验,否则你绝对无法预测一个未脚本化的后续提问是感觉像敏锐的探究还是礼貌的审讯。
早在二月,我们就以唯一合理的方式解决了这个困境:我们将 Dscout 的 AI 主持人的早期构建版本交给在职研究人员,让他们开展真实的研究,然后做了一件刻意具有元性质的事情。我们编程让 AI 主持人对那些研究人员进行复盘访谈,询问该工具的表现如何。
Alpha 阶段:高好奇心,粗糙的边缘
我们将初始 Alpha 规模保持得很小:八名研究人员,为期一周的冲刺以开展一项研究,最后进行 60 分钟的复盘。我们涵盖了参与者激励和活动积分,要求提出真实的研究问题,并制定了一条不可协商的规则:在向任何人发布之前,自己先作为参与者体验一遍这项研究。
这八个人全都在一周内发布了研究。在早期 Alpha 阶段达到 100% 的参与率是很罕见的;在这种情况下,这是由对大规模定性研究的同等需求以及对这东西是否会在真实用户面前让他们出丑的好奇心共同驱动的。
反馈来得迅速、直白且极具战术性:
- 控制感的丧失:研究人员对提示词漂移深感不安。他们不希望 AI 围绕他们的核心目标即兴发挥——他们希望它逐字逐句地问出他们经过严格审查的确切问题。
- 心智模型混淆:构建器界面造成了认知摩擦。“部分”与“问题”有何区别?“问题”与持续的“对话”又有何不同?在行内调整提示词感觉支离破碎。
- 感官真空:一名参与者指出,独自坐在电脑前,对着空荡荡的屏幕大声说话,没有任何东西可看,这种感觉令人不安且分散注意力。
拒绝结束的复盘
到了复盘的时候,我们给 Alpha 测试者一个选择:与我进行人工访谈,或者进行一次由 AI 主持的会话。几个人选择了机器人。
我们的第一次由 AI 主持的复盘原定紧凑地持续 20 分钟。结果它整整持续了一个小时,令人筋疲力尽。
在没有约束的情况下,模型做了 LLM 在被奖励“好奇心”时会做的事:它不断挖掘。每个答案都会触发两个更细致的问题;每个离题都被视为突破性的洞察。参与者被困在一个礼貌而无情的后续提问循环中,任何人类研究人员都不会这样折磨另一位专业人士。
坐在那个热座上让人立刻明白了一件事:优秀采访者的标志不是无情地追问——而是对话中的克制。一个不知道何时总结并继续前进的 AI 并不是富有洞察力的。它是令人疲惫的。
转折点:把剪贴板还给研究人员
到了六月初,一种模式已经清晰可见。在二月,一位 Alpha 研究人员曾悄悄记下:“希望主持人问确切的问题。” 到了夏天,这条安静的笔记变成了一片合唱。
作为产品构建者,人们很容易爱上自主访谈员这一理想形象——一个无脚本的 AI 苏格拉底在未知领域探索。但研究人员并没有要求一个无引导的 AI 伙伴。他们要求的是一个万无一失的现场助手。他们需要可预测的顺序、用于比较分析的标准化措辞,以及不会偏离轨道的有边界的问题。
我们决定推迟正式发布并重建基础。我们没有采用无脚本的对话画布,而是转向了受调查启发的结构化范式:研究人员定义确切的主要问题和顺序,AI 仅在询问经过校准的上下文跟进问题时介入。
我们接下来发布的内容
当第二个测试版于七月推出时,它反映了向研究人员控制和参与者体验有意转变的趋势。这包括以下内容:
- 逐字控制:以固定顺序执行的结构化“大声思考”问题,具有严格的逐字模式和可配置的跟进强度(从轻度澄清到更深入的上下文探查)。
- 基于回合的流程而非语音活动猜测:我们引入了手动“继续”按钮,而不是依赖音频检测来猜测参与者何时结束发言——这种做法经常会在换气时打断对方。延迟消失了,中断降为零,参与者重新掌控了自己的节奏。自然对话仍可作为快速非正式检查的选项。
- 视觉刺激和基于任务的问题:增加了对图像刺激和具体任务的直接支持,解决了对着空白屏幕说话时的迷失感。
- 改进的分析工作区:一个简洁的会话查看器,将同步视频片段与可扫描的文字记录配对,使验证快速且可靠。
到九月的公开测试版时,我们添加了预发布护栏工具,可在研究接触参与者之前主动标记引导性或偏见性措辞。
设计 AI 主持人教给我们的关于用户体验的知识
无论你是在构建研究工具还是任何对话式产品,成功在很大程度上取决于围绕模型的交互设计,而不仅仅是模型本身:
- 先证明你听到了他们的声音,再提出更多问题:优秀的人类主持人不会审问;他们会反映。当 AI 在转入跟进问题之前综合参与者的想法时,它会建立即时的融洽关系并防止重复提问。
- 让用户控制对话节奏:音频检测模型常把深思熟虑的停顿误认为思考结束。给参与者一种明确的方式表明他们已完成(如手动提交/继续操作),用信心取代焦虑。
- 首先把自己当作参与者:坐在参与者椅子上十分钟所发现的对话恐怖谷效应,是阅读二十小时文字记录永远无法捕捉到的。
- 用新颖性换取控制权:参与者不需要机器人好朋友,研究人员也不需要无脚本的共同主持人。先建立护栏;后添加对话自主性。
归根结底,构建对话式 AI 并不是为了炫耀大语言模型(LLM)单独能做什么。而是要创造一个环境,让参与者感到足够舒适,从而愿意说出他们真实的想法。如果你在设计时兼顾对参与者的共情以及对研究者专业技能的尊重,技术就会退居幕后,洞察自然水到渠成。
原作者保留版权;来源:dscout。本站维护者确认获准转载,非公共领域或开放许可证声明。 原文来源(转载授权由站点维护者确认) · 中文译文由 CxHub 客户体验社区生成,并非官方译文。
来源:dscout · dscout.com