Pew与MeasuringU研究证实数字孪生存在约10点系统性误差

合成用户的承诺令人难以忽视。参与者招募是研究预算中最昂贵且最耗时的部分之一。如果 AI 可以代替真人，它可以在几小时内而不是几周内产出结果，并且成本仅为其中的一小部分。

我们将合成用户描述为更像是一个属而非一个种。该属包括基于画像、基于人口统计和基于研究的种类，但数字孪生被广泛认为是最准确的，因为数字孪生不是凭空捏造一个通用用户，而是根据真实人物的数据构建，然后要求该人物以他们的方式回答问题。

一些报道的结果令人印象深刻。在我们的合成用户实验综述中，最令人瞩目的主张之一来自咨询公司安永（EY）。利用 Aaru 的专有模拟平台，EY 复制了一项涵盖 3,600 人的全球财富调查，并报告称与人类结果高度一致，具有高相关性和较低的误差，在一天内完成而非六个月。但该结果来自销售该平台的公司，批评者指出，模型可能是在类似于其“预测”的调查的数据上训练的。迄今为止，支持合成用户的大部分证据来自对答案有经济利益的人。

支持数字孪生的最强学术案例来自斯坦福大学。Park 等人（2024）让一名 AI 采访者与 1,052 名美国成年人进行了两小时的访谈，了解他们的生活，然后根据每个人的访谈记录为其建立数字孪生。这些孪生在回答综合社会调查（General Social Survey）时，准确率达到参与者在两周后匹配自己答案水平的 85%（令人鼓舞）。但这 85% 是相对于人类的一致性而言的。从原始数据来看，孪生匹配了约 69% 的答案，而重新接受调查的人类匹配率为 81%（令人沮丧）。而且达到这一水平需要每人两小时的访谈数据，这远远超过大多数研究团队拥有的关于其用户的数据量。

这就是为什么皮尤研究中心的一项新研究引起了我们的注意。首先，做一个公共服务公告：Pew 的名字并非源于其研究的臭味（pew！）。这是一个姓氏。皮尤研究中心是无党派、非营利组织，隶属于皮尤慈善信托基金，由太阳石油公司创始人 Joseph N. Pew 的子女于 1948 年创立。

我们曾批评皮尤对其发现的一些解读（例如，多选一项目、非概率抽样），原因是我们的研究背景不同（社会/政治 vs. UX），但皮尤通常严谨且透明，会发布其提示词、配置和完整的汇总数据。而且与许多推广合成用户的声音不同，皮尤并不销售合成用户软件。事实上，它声明没有计划使用 AI 来生成调查结果。

对于这项研究，尽管我们的研究背景存在差异，但皮尤的发现看起来很像我们在两项 SUS 数字孪生研究中发现的情况。在本文中，我们将总结皮尤所做的工作，将其与我们的两项研究进行比较，并探讨哪些相同、哪些不同，以及这对 UX 研究为何重要。

通过 MeasuringU 保持信息灵通。

每周将最新的研究洞察直接发送到您的收件箱。

皮尤做了什么

Pew 为其“美国趋势面板”（ATP）的数千名成员构建了数字孪生体，该面板是一个具有全国代表性、基于概率的美国成年人样本库。每个孪生体都获得了受访者的 demographic profile（人口统计概况，包括年龄、教育程度、收入、宗教、投票历史等），以及来自 Pew 2025 年政治类型学调查的另外 71 个态度变量。Pew 还借鉴了 Park 等人研究的一项技术：由第二个 AI 模型（GPT-5.1）为每个人撰写一份“专家反思”，即从政治科学家的角度进行的简短综合，旨在揭示概况中不那么明显的模式。

随后，这些孪生体完成了三项真实的 ATP 调查，时间均在 2026 年初，总计近 300 个问题，涉及政治、全球态度和国家问题。它们按顺序一次回答一个问题，使用与其人类对应者相同的编程、随机化和指令。

Pew 并没有只选择一种设置并运行它。它在锦标赛式的比较中测试了推理级别、概况信息的数量以及三个不同的模型。获胜的配置是带有扩展概况和专家反思的 Claude Opus 4.6。

Pew 的发现

即使采用这种最佳配置，结果也相去甚远：

• 平均绝对误差为 12 个百分点。在近 300 个问题中，孪生体的估计值与人类的平均值相差 12 个点，并且在约 28% 的问题上相差超过 15 个点。
• 有些失误极其巨大。只有 52% 的美国人正确识别出第一修正案保障的一项权利，但孪生体将其定为 98%（偏差 46 个点）。孪生体称 99% 的人知道北约的核心焦点，而现实中这一比例为 56%。它们估计 97% 的西班牙裔成年人可能会关注世界杯（实际为 43%），并且 86% 的民主党人认为亿万富翁对国家有害（实际为 45%）。在 0 到 100 的量表上，如此巨大的失误就像预测某产品在 SUS 上获得 A+，而实际上它只得了 D。
• 失误的大小与犯错机会的大小有关。图 1 显示了 Pew 报告的所有误差的散点图。该图显示了一个略微倾斜的菱形 highlighting a clear pattern that 当人类响应百分比处于 range of 25–75% 之间时，数字孪生体的误差更大。

图 1：人类与孪生体差异幅度与人类响应百分比之间的关系。

• 孪生体过于自信。人类选择“不确定”的频率大约是孪生体的四倍，尽管作为其提示词的一部分，孪生体被指示：“你对世界的了解应与你的角色相符。对于你的角色来说，不知道某些主题，或者对某些主题的了解有误，都是符合现实的。”
• 孪生体回避了一些答案，并扎堆选择了其他答案。近一半的问题至少有一个响应选项没有任何孪生体选择，而在原始调查波次中，人类从未出现过这种响应模式。
• 孪生体依赖刻板印象。正如世界杯和亿万富翁的例子所示，它们将仅仅在子群体中常见的观点变成了近乎普遍的观点。
• 模型很重要。在同一项调查中，Opus 4.6 的平均误差为 11.4 分，GPT-5.1 为 13.3 分，GPT-5 nano 为 17.4 分。误差的方向也各不相同：GPT-5.1 将公众描绘得比实际情况更极端，而 Opus 4.6 则将其描绘得更温和。两者都错了。

Pew 的结论直截了当：AI 模型不能充分替代对真实人群的调查。

我们的两项数字孪生研究

我们使用自己的回顾性 UX 基准数据进行了两项数字孪生实验。在第一项中，我们为 420 名参与者构建了数字孪生体，这些参与者曾对 ChatGPT、Claude、Gemini 和 Grok 进行评分。在第二项中，我们为 289 名参与者构建了数字孪生体，这些参与者曾对六款商业软件产品进行评分，从 GitHub（我们 2025 年基准测试中得分最低的产品）到 Slack（得分最高）。

在这两项研究中，Claude Sonnet 5 根据每位参与者的调查回复为其撰写了一份长达 700 字的人物画像，但省略了他们的 SUS 评分。摘要型孪生体仅获得人物画像。完整型孪生体获得人物画像加上参与者的原始调查回复。随后，每个孪生体都像其对应的人类一样完成了 SUS 测试。

在这两项研究中，孪生体系统性地高估了 SUS 分数：

• AI 聊天机器人：摘要型孪生体高估了 4.4 分，完整型孪生体高估了 6.7 分
• 商业软件：高估了 10.6 分和 10.4 分

对于商业软件而言，这足以使产品在我们的 SUS 曲线评分量表上移动多达两个字母等级。GitHub 从 D 级升至 B 级，ZipRecruiter 从 C 级升至 A 级。

哪些是相同的？

误差的大小。Pew 的孪生体平均偏差为 12 个百分点。我们的商业软件孪生体偏差约为 10.5 个 SUS 分。虽然指标并不完全相同（Pew 的是跨响应选项的百分点误差；我们的是 SUS 均值之差），但两者都在 0 到 100 的量表上，且误差都约为 10 分。无论在哪种背景下，这都是很大的误差。

误差是系统性的，而非随机的。我们的孪生体始终比其对应的人类给出更高的产品评分（76% 到 80% 的情况下）。Pew 的孪生体始终夸大了知识和确定性。在这两种情况下，孪生体的偏差方向都是可预测的，因此收集更多孪生体并不能通过平均化来消除误差。

当人类分数远离量表端点时，误差系统性更高。这种模式在 Pew 的研究和我们的研究中都很明显。当人类分数在其百分比（Pew）或 SUS（MeasuringU）量表上非常低或非常高时，数字孪生体往往接近观察到的人类分数，这可能是由于地板效应和天花板效应所致。当人类分数不那么极端时，数字孪生体的误差会被放大。

孪生体抹平了真实的人类差异。Pew 的孪生体完全避免了一些响应选项。我们的孪生体聚集在少数几个 SUS 值周围（尤其是高分产品的 95 到 100 之间），一半的孪生体分数与其产品中位数的差距在 5 分以内，而人类分数的这一比例为 28%。

结果看起来合理。两组结果都没有明显出错。Pew 的孪生体正确估计出大多数美国人支持合法堕胎。我们的孪生体基本正确地排出了产品的排名顺序。问题在于具体数值水平，而这正是决策者采取行动所依据的关键。

同一系列模型。Pew 的最佳配置使用了 Claude Opus 4.6，而我们的数字孪生体是用 Claude Sonnet 5 构建的。两项研究都没有找到能解决该问题的配置。

有何不同？

表 1：Pew 研究与我们的两项数字孪生研究的比较。

政治敏感话题 vs. 日常体验。Pew 的大多数问题涉及政治敏感话题，如总统支持率、移民执法和堕胎。在这种情境下，5 个百分点可能决定是一场势均力敌的竞争还是一场压倒性胜利，因此对准确性的要求很高。这也是一个身份认同、社会赞许性和党派刻板印象影响人们回答方式的情境，这给孪生体提供了更多出错的机会。正如我们在 Surveying the User Experience 中所述，关于用户体验的态度通常不具有政治敏感性。某人对 GitHub 或 Slack 可用性的评价与其政治身份无关，因此孪生体诉诸刻板印象的理由应该更少。

Pew 的任务可以说更难。Pew 要求孪生体使用几个月前收集的档案数据，预测关于数据中心、移民执法和时事等时效性话题的观点。这些话题的观点会随新闻而变化。我们的孪生体预测的是受访者已经使用的产品的稳定、回顾性评分，并且它们是基于同一个人在同一份调查中的回答构建的，包括其推荐可能性以及对该产品的喜好和厌恶。这是预测任务中最简单的情况之一。如果孪生体在这些条件下无法将 SUS 分数的误差控制在几分以内，就很难想象它们在何处能做到。

更相关的信息可能在两项研究中都有帮助。Pew 的误差从仅使用人口统计数据的 16 分降至加入 71 个态度变量后的 13.7 分，再到加入专家反思（在 GPT-5.1 上测试）后的 13.1 分。态度变量与 Pew 预测的内容密切相关：用政治态度来预测政治观点。

我们可能看到了类似的情况。我们 AI 聊天机器人研究中的孪生体是由 68 个调查问题构建的，其中包括 34 个关于对 AI 态度的项目，这与某人如何评价 AI 聊天机器人密切相关。商业软件的孪生体仅由 27 个问题构建，没有态度项目。聊天机器人孪生体的误差大约小一半（4.4 到 6.7 分 vs. 约 10.5 分）。

但我们不能说额外的信息导致了差异。聊天机器人的 SUS 得分也更高（78 到 82），这留给“数字孪生”高估的空间更小，而且两项研究在产品类别和年份上有所不同。更多相关数据和天花板效应相互混淆，我们的设计无法将它们区分开来。观察这种差异的一种方法是重建聊天机器人“数字孪生”，但不包含那 34 个态度项目。如果它们的误差上升到接近 10 分，那就说明是态度项目在起作用。

我们可以说，添加更多相同的信息并没有帮助。在每个研究中，完整“数字孪生”（人设加上原始调查回复）并不比摘要“数字孪生”（仅有人设）更准确。在商业软件研究中，两种类型之间的差异仅为 0.1 分。

Pew 测试了多个模型；我们只测试了一个。Pew 比较了三个模型，发现误差的大小和方向都随模型而变化。我们只使用了 Claude Sonnet 5，因此我们无法确定另一个模型是否会更严重、更轻微地高估 SUS 得分，或者根本不高估。

Pew 对其结果进行了加权；我们不需要这样做。Pew 使用调查权重将其“数字孪生”投射到美国人口上。我们将每个“数字孪生”直接与其对应的人类进行比较，从而将“数字孪生”的准确性与任何抽样或加权问题隔离开来。

总结与讨论

Pew 的研究是我们见过的规模最大、透明度最高的数字孪生测试，且来自一个对结果没有利益关系的组织。其发现与我们两项较小的 UX 研究高度一致：

• 大约 10 分的误差。Pew 的“数字孪生”平均偏差为 12 个百分点。我们在商业软件方面的偏差约为 10.5 个 SUS 分。在 UX 基准测试中，10 分是普通产品与优秀产品之间的差距。
• 有些失误远比平均水平严重。Pew 的“数字孪生”在某些问题上偏差超过 40 分，相当于把 D 级产品称为 A+。平均值掩盖了这些极端情况，而使用“数字孪生”数据的研究人员无法知道哪些问题被严重答错了。
• 简单的问题没能挽救“数字孪生”。我们的 SUS 预测本应属于“数字孪生”最容易做出的预测之一：针对熟悉产品的稳定、非政治性评分，基于同一个人在同一份调查中的回答构建。“数字孪生”仍然在典型产品上偏差约 10 分。
• 误差是系统性的。在 Pew 的研究和我们的研究中，“数字孪生”的错误都有可预测的方向：在 Pew 的研究中表现为过于博学且过于自信，在我们的研究中则表现为过于积极。系统性误差是最危险的，因为它不会相互抵消，并且看起来是一致的。
• 一个模型的结果不能推广到另一个模型。Pew 发现，切换模型不仅改变了“数字孪生”错误的程度，还改变了错误的方向。我们在关于 AI 主持人的研究文献综述中也发现了同样的普遍性问题：来自一个模型（或一个模型版本）的发现可能不适用于下一个模型。这使得很难一次性验证合成用户并在未来信任它们。任何验证都与特定的模型、配置和上下文绑定，而模型每隔几个月就会发生变化。
• 相关数据可能有所帮助，但并非解决方案。Pew 在加入与其问题相关的态度数据后，其误差有所缩小；而我们的聊天机器人数字孪生（基于 AI 态度项构建）的误差约为商业软件数字孪生的一半。但在两项研究中，即使是最优配置，当利益相关者根据真实数据做出决策时，其偏差仍然大到无法接受。
• 看似合理的结果可能导致截然不同的结论。能够正确对产品排名或正确识别多数意见的数字孪生数据，仍可能出现两个字母等级的偏差或十几个百分点的差异。对于基于绝对水平的决策，例如产品是否达到基准、是否有改进，或有多少比例的用户感到困难，这种偏差足以导致团队做出错误的决定。
• AI 更擅长分析真实回复而非凭空捏造。Pew 划清了界限：它不会用 AI 来代替受访者，但确实使用 AI 对开放式问题的真实回复进行分类，并编写代码以分析调查结果，且计划继续这样做。我们在自己的开放式评论编码研究中也得出了类似的结论。AI 是处理真人提供数据的有用工具。然而，它目前还不足以取代人类。
• 我们的样本较小，但误差之大已非噪声所致。Pew 构建了约 15,000 组数字孪生与调查配对，而我们在两项研究中构建了 709 个数字孪生。但我们的样本量足够大，可以以有意义的精度估算 UX 研究中数字孪生的误差。对于商业软件，平均高估值的 95% 置信区间约为 ±1.4 SUS 分，因此真实的高估值很可能在 9 到 12 分之间。对于单个产品，误差范围约为 ±3 到 ±4 分，仍远小于六个产品中五个产品的 10 到 14 分的差距。其他局限性依然存在：我们测试了一个模型、一份问卷（SUS）和两个产品类别。

底线：即使是最有前景的结果，如斯坦福大学的研究，也依赖于每人数小时的访谈数据，并且仍远低于人类的一致性水平。利用 UX 团队通常拥有的数据，来自两个不同领域的三项独立研究得出了相同的结论：基于真实人员数据构建的数字孪生不够准确，无法取代这些人。目前，UX 研究中的“U”（用户/User）依然不可或缺。