Jakob Nielsen 阐述 AI 时代用户研究中开放与封闭问题的混合策略

摘要： 封闭式问题仅在你提供的类别范围内进行测量，而开放式问题则让用户揭示那些被遗漏的类别。如今 AI 可以进行访谈、对每一条逐字记录进行编码，并统计每位受访者提及每个主题的次数，因此你终于能够负担得起分析所有开放式回答的成本。将你的问题组合转向开放式问题 同时保留固定的封闭式核心以用于基准测试，并且永远不要停止观察用户的行为，因为每一个回答都是自我报告的数据。

Alice 和 Zimo 在一本采用全手绘水粉画风格绘制的 32 页漫画书中梳理了这两种类型的问题。这几乎和我那本 35 页的 History of AI 漫画书一样长。（GPT Image 2.5 Sunburst）

两扇门：信箱槽与开放拱门

你向用户提出的每一个问题都是一扇门。有些门是一排编号的信箱槽，受访者只能把纸条塞进你预先切好的其中一个开口里。另一些门则是开放的拱门，受访者可以双臂抱着他想告诉你的任何东西，径直走过。

定义： 封闭式问题 会提前提供可能的答案（是或否、多项选择、评分量表、排名），受访者从列表中选择。研究者已经决定了可以说什么，以及用什么词来说。

定义： 开放式问题，又称开放式提问，只提供问题本身。受访者用自己的话作答，长度不限，内容涉及该问题引发的任何想法。

示例： “您对结账流程的满意度如何，1 到 5 分？”是封闭式问题。“您尝试结账时发生了什么？”是开放式问题。前者告诉你 23% 的客户选择了 2 分。后者揭示了优惠券字段拒绝小写输入的代码，这是一个你未曾想到要询问的问题。

封闭式 = 计数，开放式 = 发现

核心区别是什么？在于类别是否固定。封闭式问题在用户回答之前就强加了这些类别。开放式问题则允许你在之后制定这些类别，一旦答案向你展示了类别应该是什么样子。AI 使得这种事后分类变得廉价，但编写类别的人仍然决定了什么算数。

封闭式问题将 1,000 名受访者转化为一张图表，每位受访者的耗时仅需几秒，并且明年为你提供相同的量表以追踪趋势。但其盲点是内置的：你只能了解到你曾想到要问的内容。 一个被忽视的“其他”选项框会吞没惊喜，而强制性的回答则会在原本没有观点的地方制造出观点。

开放式问题能揭示团队中无人预料到的问题。一位客户写下 “我放弃了，只好打电话给我侄子” 比任何柱状图都更能打动利益相关者。几十年来，手动编码数千条回答的高昂成本让填空框变成了墓地：受访者费心打字，但从来没人阅读他们写的内容。

何时使用哪种：早期开放，后期封闭

从开放式开始。在探索阶段，过早列出选项会将研究限制在团队当前的理解范围内，而你最需要发现的问题往往潜伏在那道围栏之外。一旦用户揭示了相关的类别，就切换到封闭式问题，以衡量每个类别的普遍程度并跟踪重新设计后的变化。但在后续轮次中也保留一个开放式问题。基准测试会忠实地追踪昨天的问题，而明天的问题却会不请自来。

你建造的门户决定了用户能给你带来什么。两种都要建造。(GPT Image 2.5)

在单项研究中将它们配对使用。先问评分，再问原因。 5分制中的2分表明不满意，而自由文本的追问会告诉你该往哪里深挖。如果跳过第二个问题，你留下的只是一堆无法解释的数字仪表盘。这就是大多数调查项目的悲惨命运。

无论是人类还是 AI 提问，这两种问题收集的都是 自我报告。可用性领域最古老的规则依然适用：观察用户的所作所为，而非听信他们的所言。(我的 可用性口号第8条。) 在这幅漫画中，那个声称“总是阅读说明书”的人把手册垫在了摇晃的桌腿下。

问题捕捉的是态度、记忆和意图。只有通过观察才能揭示行为，无论是通过数据分析还是可用性测试。当自我报告的答案与你观察到的情况冲突时，相信你的眼睛。

调查中封闭式问题的7项准则

1. 确保选项互斥且穷尽。 “1–5次”和“5–10次”在5次处重叠，而做了11次的顾客无处可选。

2. 平衡量表。 两个正面选项需要对应两个负面选项，并设有中性中间点，否则你就用算术构建了一个诱导性问题。

3. 提供诚实的退出选项。 “不适用”和“不知道”不会让你付出代价，却能帮你避免那些临时编造的观点。

4. 每个问题只问一件事。 “它既快又容易吗？”是把两个问题拴在一辆车上。把它们拆开。

5. 绝不诱导，并防范锚定效应。 “你有多喜欢它？”已经预设了答案。在开放式定价问题之前问“你会付20美元吗？”会植入一个参考价格，使得下一个回答仍被那个 锚点 束缚。

6. 询问近期经历。 “你会使用这个功能吗？”这种问法容易招致廉价的承诺。要询问受访者在过去 7 天内做了什么以及发生了什么。

7. 保持简短并进行试点测试。 每增加一个问题都会流失受访者。在正式投放问卷前，先让 5 个人试填，并观察他们在哪里犹豫不决。

调查表中开放式问题的 4 条准则

1. 询问具体的某个时刻。 “有什么意见吗？”这种问法无法帮助受访者调动记忆。“你上次购买过程中最令人沮丧的时刻是什么？”则为他们提供了一个具体的事件去回忆。

2. 让输入框大小适应任务需求。 提供足够的空间，以便受访者查看和编辑有用的回答。狭窄的单行输入框仿佛在暗示：“请简短回答。”

3. 设为可选项，并明智地利用受访者的精力。 将宽泛的文本填写项放在末尾，但要把诊断性的后续问题放在它所解释的问题旁边。

4. 始终以兜底问题结束。 “还有什么想告诉我们的吗？”为研究议程中遗漏的关注点留出了空间。

访谈：开放式问题发挥主要作用

在用户访谈中，情况发生了逆转。开放式问题主导整个会话，封闭式问题只起辅助作用。“带我回顾一下你上次支付发票的过程”能开启一段故事。“难吗？”则用一个词就终结了故事。

三种工具区分了优秀的访谈者与一个有脉搏的表格。沉默 给参与者时间回忆匆忙回答中遗漏的内容。追问 打开答案背后的门：“接下来发生了什么？”和“你能给我看看吗？”而中立的措辞 则将叙述权留给参与者，相比之下，“这让人困惑吗？”已经预设了剧本。

当你需要确认听到的内容时，封闭式问题在访谈中仍有其价值。“所以你在三月涨价之前切换了应用？”这锁定了一个事实和日期。然后再次打开大门，让故事继续发展。

无论你向用户询问什么，同样的两扇门都会出现：可用性任务后的一个评分加上一个“为什么”，或者网站拦截弹窗中的一个问题（最多两个）。支持工单、应用商店评论和日记研究积累了更多第一人称叙述，值得进行同样的分析。

当 AI 提出问题时

访谈者不再必须是人。AI 今晚可以用 40 种语言采访 5,000 名客户，并从第一场到最后一场严格遵守讨论指南。即使第 40 位参与者用与前 39 位完全相同的词语描述同一个登录问题，它也不会叹息。这在两个方面改变了我之前的建议。

首先，静态问卷变成了对话。AI 可以根据每位参与者自己的措辞即兴提出后续问题。传统的调查逻辑只能沿着某人预先编写的分支推进，即使受访者抛出了一个值得追问的有趣线索。保留一组固定的封闭式问题作为基准，使用一致的措辞，在任何自适应追问之前提问。否则，不同的对话可能会引发不同的评分。在不同对话之后使用相同的措辞只是看起来具有可比性。

其次，AI 需要接受访谈员培训。He Zhang 及其同事 在宾夕法尼亚州立大学测试了 InterviewBot，这是一个围绕 GPT-4o 2025 年 6 月版本（现已过时）构建的封装程序，共有 15 名参与者参与测试。该机器人 追问太少，并给出了带有引导性的反馈。只有 4.9% 的回合是深入挖掘的追问。它全盘接受了简短的回答，并以暗示认可的方式赞扬受访者的回答。赞美是一种伪装的诱导性问题。 我对机器访谈员的规则如下：

• 禁止评价。 不赞美，不说“好观点”，除了确认之外没有任何反应。

• 追问缺失的证据。 当回答缺乏具体事例时，要求提供一个。一旦叙述清晰，就继续下一步。

• 允许表示“不清楚”。 让机器人在无法理解回答时承认这一点。否则，它会编造含义。

• 披露并释放控制权。 告知参与者他们正在与 AI 交谈，允许他们跳过，允许他们停止，并为敏感话题保留一名人类工作人员待命。

• 先由 5 名人类进行试点，并亲自阅读转录稿。 你会对问卷进行试点。也要对访谈员进行试点。

当 AI 阅读答案时

Leonardo Bergmann 及其合著者 来自维也纳大学和其他欧洲大学，比较了 5 名人类编码员与 GPT-5.4 在对一项欧洲博士生调查中的 903 个开放式回答 进行归纳内容分析时的表现。（我在我的 9 月 14 日通讯 中讨论了这项研究。）归纳编码从原始文本中开发类别，然后将它们分组为主题。人类与 AI 的一致性在调整兰德指数上达到 代码为 0.61，主题为 0.54，这是一种校正偶然因素后的分数，用于衡量两个分组的接近程度（1.0 意味着分组完全相同，0 是仅凭偶然产生的结果）。这足以让 AI 在编码团队中获得一席之地，只要有人类审查其工作即可。

当阅读变得免费时会发生什么？开放式问题成为一种定量方法。AI 使得对每个回答进行编码并统计每个主题下的受访者人数变得切实可行。Verbatimetrics（逐字指标），即对整个数据集中的编码逐字内容进行计数，使文字与数字保持关联。诸如“37% 的受访者提到了优惠券字段”这样的结果，当背后的回答只需一键即可查阅时，便鲜活起来。无论受访者重复抱怨多少次，每个受访者在每个主题下只计数一次。

但是 提及频率衡量的是人们选择报告的内容。客户可能会遇到问题，但没有回忆起它、优先考虑它或费心将其写下来。因此，沉默的 63% 并未声明优惠券字段没有问题。要估算有多少客户遇到了故障，请向所有尝试使用优惠券的人提出针对性问题，或检查失败优惠券尝试的分析数据。开放式回答揭示了留在人们脑海中的内容。有效的流行率估计需要给每位受影响客户同样的机会来报告同一事件。

此外，频率也不应决定优先级。频繁的困扰可能只耗费几秒钟，而很少被提及的故障却会阻碍销售。利用编码计数来定位模式，然后在制定路线图之前，检查每个问题给用户带来的成本以及它破坏了哪些任务。对每个回答进行编码的一个好处是，能够捕捉到那些会被最大主题摘要所掩盖的罕见但代价高昂的例外情况。

编码研究的两项发现解释了为什么你必须保留原始文字以便随时查阅。首先，AI 有时会将模糊的回答强行归入自信的类别中，将噪音洗白为看似干净的数据。让它标记一个回答为“不清楚”，并由你自己亲自审视简短或模棱两可的回答。

其次，对于广泛主题的共识度低于特定代码的共识度。让人类负责主题归类，因为模型正是在那里将不同的回答归入过于宽泛的伞形主题之下，以至于十几种不同的问题都能容纳其中。将优惠券拒绝和支付失败归档在“结账摩擦”之下，你会得到一份整洁的报告，但它隐藏了两个不同的修复需求。（另外，以最大推理努力运行前沿模型。该研究使用的模型已经落后。）

代码本成为测量工具的一部分。在比较不同波次的研究时，冻结其定义。如果你更改了模型、提示词或类别，请在解释趋势之前，使用新设置重新编码早期的回答。否则，投诉量的明显上升可能仅意味着机器现在围绕“结账摩擦”划定了更宽的边界。保留原始回答赋予开放式问题封闭式问题无法比拟的优势：明年，你可以使用更新的类别重新分析去年的回答，而封闭式回答则停留在你当时恰好提供的选项中。

AI 减轻了分析师的大量工作，但 受访者仍需付出注意力。因此，请将节省下来的资源用于提出更好的问题，并深入探究答案所揭示的内容。切勿投放你并不打算分析的开卷式问题，也不要因为编码成本低廉就放任问卷冗长乏味。（借用一篇 著名 AI 论文 的标题来歪解一下：对于具有代表性的回答而言，用户注意力是你所需的一切，而客户在你的研究中只会吝啬地给予极少部分。不要浪费它。）

AI 可以起草你的问题，但不能成为你的客户

代理式 AI 可以起草问卷，协助分析真实参与者的试点测试，标记混乱的问题，并对结果进行编码。在投放前设置人工把关环节，并归档参与者实际作答的确切版本。一旦开始收集数据，悄悄“改进”某个问题就像是在测量中途更换尺子一样。机器会问任何你允许它问的问题。决定什么值得问仍然是你的工作。

AI 还提议充当受访者，在这里我要直言不讳：不要让 AI 代替客户回答你的问题。 Yuanzi Li 及其合著者 将 18 个语言模型与来自大型社会调查的人类回答进行了比较，发现经过对齐的模型倾向于给出更友善、更符合社会规范的答案，这种仁慈偏差随着模型规模的增大而加剧。一个合成受访者可以在从未接触过你的结账流程的情况下，以令人信服的细节描述结账挫折感。运行 10,000 次模拟而不是 10 次，并不会增加任何客户证据。这只是在用额外的小数位数粉饰模型的假设，上演一场精确性表演。让合成受访者帮助你头脑风暴问题。裁决权属于真实的客户。

结论：两扇门，都要使用

用闭卷式问题进行计数。用开卷式问题进行探索，并让 AI 对你发现的内容进行编码。保持基准稳定，区分提及率与普遍性，并将数字追溯至其背后的体验。AI 使得阅读每一个答案变得负担得起。你的工作是决定这些答案证明了哪些变更是合理的。

AI 正在挖掘手写回答的墓地，一次挖出一个被埋没的答案。现在重要的是，恢复出的答案是否会改变设计。打开这两扇门，倾听从中传来的声音，然后修正你听到的内容。

用户研究的三位贡献者各自扮演自己的角色。不要让 AI 去试镜客户的角色。(GPT Image 2.5)