NN/g 对比合成用户与人类受访者：结论一致但变异性显著降低
Nielsen Norman Group 的一项实证研究发现，尽管 AI 生成的合成用户在回答开放式问题时能复现人类受访者的主要结论，但其答案的多样性远低于真实人群，出现了明显的“模式坍塌”现象。该研究将此前针对 604 名技术与设计专业人士进行的 UX 术语调查中的同一个开放性问题，重新抛给由 Synthetic Users 平台生成的 120 个合成受访者，旨在测试合成数据在更受限任务中的表现。结果显示，两组数据均指向同一核心结论，即“UX”仍是描述相关工作的最主要术语，没有替代性词汇能够撼动其主导地位。然而，在细节层面，合成数据表现出显著的偏差。84% 的合成受访者使用了与 UX 相关的术语，这一比例高于人类受访者中的约 70%，且差异具有统计显著性。这种过度集中并非因为合成样本更熟悉 UX 领域，事实上，人类样本中 UX 专业人士占比高达 67%，而合成样本中仅占 20%，后者理论上应代表更广泛的职业背景。但在实际回答中，合成数据反而更强烈地向主流术语收敛。 研究进一步揭示了合成用户在词汇丰富度上的严重不足。人类受访者使用了超过 50 种不同的标签来描述工作性质，包括“消费者行为研究”、“数字体验战略”、“旅程管理”和“人因工程”等较为罕见或专业的术语。相比之下，合成受访者仅产生了约十几种标签，完全遗漏了人类数据中出现的那些不常见或高度专业化的词汇。这种现象被研究者称为“模式坍塌”，即生成模型倾向于重复输出最常见的数据点，而丢弃目标人群中长尾的低频响应。值得注意的是，由于 Synthetic Users 平台模拟的是访谈场景，合成受访者的回答通常比人类的问卷调查回答更长，本应有更多机会提及替代性或相关术语，但它们依然未能展现出这种多样性。这表明，即使给予更宽松的格式条件，合成数据仍难以捕捉真实用户思维的自然变异。 在子群体分析中，职业角色确实影响了术语选择，例如合成数据中 45% 的客户洞察专业人士使用了“客户”一词，而合成 UX 专业人士则无人使用；30% 的市场调研人员使用了“市场”一词。这些差异在统计上是显著的，说明合成数据并未完全抹去职业背景的影响。然而，跨角色的收敛效应依然存在。例如，93% 的合成产品经理使用了与 UX 相关的术语，而在人类数据中这一比例仅为 44%。这意味着合成数据虽然能显示不同群体之间的某些差异，但往往会低估这些差异，将所有群体的回答拉向最主流的框架。对于希望探索不同受众如何自然描述某一概念的研究者来说，这种变异性的丧失可能会掩盖人类参与者能够揭示的重要细微差别。 NN/g 强调合成用户研究目前仍不能等同于真正的用户研究，因为没有实际用户参与。合成数据的结果应被视为研究的起点，而非证明用户想法、言论或行为的最终证据。一个看似合理的发现，即使与人类研究结果相符，也不能保证合成受访者能可靠地代表那些低频视角、子群体差异或自然变异。因此，建议从业者利用合成受访者来生成假设或检查宏观模式，但当研究的重点在于挖掘长尾响应、意外术语或新兴主题时，必须依赖真实的人类参与者。此外，研究还指出了合成平台的局限性，如研究人员对问题呈现方式的控制力有限，平台可能会自动改写问题措辞，这可能成为混淆变量，影响结果的准确性。
推荐理由：合成用户虽能复现主流结论，但存在模式坍塌导致长尾观点缺失，仅适用于假设生成而非最终证据。