数字孪生在商业软件SUS评分中系统性高估用户体验

对一些人来说，合成用户似乎是一个在寻找问题的解决方案。为什么要从 UX 中移除 U？我们理解这种需求的存在。如果我们正在用 AI 加速软件开发，为什么不也考虑用 AI 加速 UX 研究呢？

而 UX 研究中最大的延误之一就在于那个 U。招募和运行参与者需要大量时间。这也代表着高昂的成本。参与者招募费用和酬金是研究团队预算中的大项。我们每年花费数百万美元为客户招募参与者，所以我们深有体会。

但拥有真实的需求与拥有可信赖的真实解决方案是不同的。如果我们要模拟用户的态度和行为，我们需要将 AI 的预测与现实情境中实际人类的态度和行为进行比较。

如果设计师、开发人员甚至研究人员要用 AI 来替代或补充参与者，那么值得测试那种最有可能做对的合成用户类型。我们将合成用户描述为更像是一个属而非种，涵盖了数字孪生、基于画像和基于人口统计的方法。由真实参与者自身数据构建的数字孪生被广泛认为是最准确的，尽管这仍然是一个开放的研究问题。所以我们就从这里开始。

在我们的上一篇文章中，我们从 2026 年基于 AI 的聊天产品（ChatGPT、Claude、Gemini 和 Grok）回顾性基准测试中的 420 名参与者构建了两种类型的数字孪生（摘要型和完整型），并让孪生体预测每个人的保留 SUS 分数。孪生体的结果相当接近（摘要型孪生体平均误差在 4.4 分以内，完整型孪生体为 6.7 分），但它们系统性地偏高，导致 SUS 分数虚高，足以使每个产品的等级提升半级到一级。

那项研究给我们留下了几个开放的研究问题：

1. 对于 SUS 分数较低的产品，准确性是否依然成立？所有四个聊天机器人的得分都很高（78 到 82），因此天花板效应可能使孪生体人为地接近人类分数。
2. 给孪生体更多信息是有帮助还是有害？上次，拥有更多信息的完整型孪生体比摘要型孪生体更不准确。
3. 数字孪生数据的变异性是否仍然低于人类数据？
4. 单个孪生体的预测在多大程度上追踪单个个体？

为了获得答案，我们使用了一个具有更宽 SUS 分数范围的新数据集重复了该实验。

通过 MeasuringU 保持信息更新。

每周将最新的研究洞察直接发送到您的收件箱。

原始研究

从 2025 年 1 月到 2 月，作为我们商业软件 UX 和 NPS 基准测试的一部分，我们从 980 名参与者那里收集了关于 23 款商业软件的数据。参与者回顾了他们对这些软件的最近体验，并完成了 SUS、UX-Lite^®、NPS 和 TAC-10，以及人口统计、使用情况和开放式问题。这 23 款产品的平均 SUS 分数为 70.5。

对于这次复现，我们有意选择了 SUS 范围低、中、高点的六款产品，包括基准测试中得分最低（GitHub，61.3）和最高（Slack，81.5）的产品。产品及样本量如下：

• GitHub: 50
• AutoCAD: 36
• WordPress: 52
• ZipRecruiter: 50
• SurveyMonkey: 51
• Slack: 50

这为我们提供了 289 名参与者，他们的 SUS 均值跨度约为 20 分（在 Sauro–Lewis 曲线评分量表上从 D 到 A），而聊天机器人研究中产品的范围仅为 78 到 82 分的狭窄区间。参与者的性别和年龄分布在各研究之间保持一致。

使用数字孪生进行复现

我们使用与之前文章 earlier article 中描述相同的方法创建了数字孪生。对于每位参与者，我们使用 Claude Sonnet 5 根据其调查回复构建了一个第一人称人设（最多 700 字），省略了他们的 SUS 评分。然后我们构建了两种类型的数字孪生：

• 摘要孪生体仅获得人设信息。
• 完整孪生体获得人设以及所有参与者的原始调查回复（除 SUS 评分外）。

每个孪生体被提示扮演其对应的参与者，并像人类那样回应 SUS 问卷。随后我们将每个孪生体与其对应的人类匹配，并分析 SUS 分数的差异。

结果

数字孪生体的均值高于人类均值，误差约为之前的两倍

两类孪生体在所有六个产品上产生的 SUS 均值均显著高于人类（所有 p < .01）。跨产品平均来看，摘要孪生体高出 10.6 分，完整孪生体高出 10.4 分（表 1）。这大约是我们之前在聊天机器人研究中看到的误差（4.4 分和 6.7 分）的两倍（摘要孪生体大 2.4 倍，完整孪生体大 1.6 倍）。

表 1：产品 SUS 均值及均值差异比较（t 检验：* = p < .05, ** = p < .01, *** = p < .001）。

这种高估在个体层面也很普遍。76% 的情况下，摘要孪生体预测的 SUS 分数高于其对应的人类；80% 的情况下，完整孪生体也是如此。

图 1 显示了两个研究中各产品的结果。聊天机器人的差距为 3 到 8 分；大多数商业软件的差距为 10 到 14 分。AutoCAD 是例外，其差距分别为 5.3 分和 5.9 分，与聊天机器人相似。

图 1：AI 聊天机器人研究和商业软件研究中人类、摘要孪生体和完整孪生体的 SUS 均值，右侧显示与人类均值的差异。坐标轴下方的条带展示了 Sauro–Lewis 曲线评分量表、可接受性范围和形容词评级。

摘要孪生体和完整孪生体几乎无法区分

与聊天机器人研究不同，向孪生体提供更多信息并没有使它们的预测变差，但也没有使其变好。在产品层面，有两个差异具有统计显著性，但方向相反：摘要孪生体在 GitHub 上略高（2.1 分，t(49) = 2.4, p = .02），完整孪生体在 ZipRecruiter 上略高（1.3 分，t(49) = 2.4, p = .02）。总体而言，完整孪生体和摘要孪生体的均值仅相差 0.2 分（无统计显著性，t(288) = .735, p = .46），且高度相关（r(287) = .98, p < .0001），这使得它们基本上可以互换。

这种膨胀改变了每个产品的解读

由于数字孪生体平均高估了约 10 分，表 2 中显示的等级变化比聊天机器人研究中的要大得多。在聊天机器人研究中，数字孪生体的偏差为半个到一个完整的字母等级。在本研究中，有两个产品的偏差约为两个完整的字母等级：GitHub 从 D 变为 B，ZipRecruiter 从 C 变为 A。查看数字孪生体数据的利益相关者会得出结论，认为 WordPress 和 ZipRecruiter 提供了良好至优秀的体验，但人类数据表明它们并不优于平均水平。

表 2：SUS 等级（基于 Sauro–Lewis 曲线评分量表）。

数字孪生体基本正确地保留了排名顺序

尽管数值被夸大，数字孪生体在很大程度上保留了产品的排名顺序。在产品层面，人类平均值与摘要数字孪生体的相关性为 .94，与完整数字孪生体的相关性为 .95。人类和数字孪生体在前四个产品的排名顺序上达成一致，但在最后两个产品的排名位置上存在差异（人类将 AutoCAD 排第五，GitHub 排第六）。

人为的默许模式导致了数值膨胀

在项目层面，我们看到了与第一项研究相同的模式。合成数字孪生体更同意正面语气的条目，更不同意负面语气的条目（这两者都提高了 SUS 分数）。平均而言，项目均值在五点量表上偏差约为 0.43 分（相当于 0–100 分量表上的 10.8 分）。人类与 AI 之间的差异幅度范围从 0.13（Q5：“我发现该系统中的各种功能集成得很好”）到 −0.72（Q10：“我需要学习很多东西才能开始使用该系统”）。由于这种扭曲是系统性的默许而非随机的，它在十个条目上累积叠加，而不是相互抵消。

误差在量表中间部分最大

为了直接观察天花板效应问题，我们将 AI 误差对人类 SUS 分数进行了绘图（图 2），并按参与者的实际 SUS 分数进行分组（表 3）。对于给出非常高分（85 及以上）的参与者，数字孪生体最为准确，其高估幅度小于 3 分，这可能是因为这些分数上方没有太多空间。当人类 SUS 分数在 50 到 70 之间时，误差达到峰值，此时最大可能的正向误差范围为 50 到 30。在该范围内，数字孪生体利用正向误差的空间，将人类 SUS 分数高估了约 16 分。当较高的 SUS 分数下正向误差空间较小时，数字孪生体被迫更接近人类分数。

图 2：人类 SUS 分数与数字孪生体误差的散点图（叠加了两种数字孪生体方法），说明了天花板效应如何削弱最大可能的正向误差。对于低于 50 的 SUS 分数，最大可能误差很少。从大约 70 及以上开始，最大可能误差呈直线下降（例如，SUS 为 70 时，高侧的最大可能误差为 30；SUS 为 80 时，最大可能误差为 20）。在 70 之前，SUS 与 AI 误差的相关性为 .18（点分布更随机）；在 70-100 之间，相关性为 −.47。一旦人类 SUS 分数高于平均水平，明显的天花板效应便显现出来。

表 3：数字孪生体与人类 SUS 分数之间的平均差异。

与人类评分的相关性要高得多

人类与数字孪生 SUS 评分之间的个体层面相关性显著高于聊天机器人研究：摘要数字孪生为 .79，完整数字孪生为 .81（相比之下，第一项研究分别为 .56 和 .59）。在各产品内部，相关性范围从 .57（Slack）到 .87（SurveyMonkey）。第一项研究中较低的相关性可能是由于 范围限制。

出人意料的是，人类和 AI 具有相同的变异性——但这并非分布特征的全部

与第一项研究不同，数字孪生和人类评分的标准差几乎相同（人类为 19.0，摘要数字孪生为 19.2，完整数字孪生为 19.0），且差异不具有统计显著性。只有得分最高的产品 Slack 显示出显著的压缩现象（人类标准差为 13.6，而数字孪生分别为 7.8 和 8.4），这可能是由天花板效应导致的。

图 3 揭示了一个有趣的分布模式。数字孪生的响应倾向于集中在少数几个值上，尤其是 SurveyMonkey 和 Slack 的 95 到 100 分。半数数字孪生评分落在其产品中位数的五分之内，而人类评分的这一比例为 28%。与此同时，少数数字孪生给出了极低的分数（SurveyMonkey 低至 2.5 分）。换句话说，数字孪生在中间部分的变异性较小，而在尾部则更为极端。数字孪生给出满分 100 的频率几乎是人类的四倍（13% 对 3.5%）。

图 3：按产品划分的人类、摘要数字孪生和完整数字孪生的 SUS 评分分布（点已在水平方向上分散以区分并列值）。产品按人类平均值从低到高排序。

为了定量评估分布差异，我们需要调查其他较少为人知的形状度量：偏度和峰度。偏度衡量分布向左或向右倾斜的程度（不对称性），而峰度衡量数据在分布峰值和尾部的集中程度。人类总评分的偏度和峰度分别为 −0.60 和 0.03（中度左偏，具有正常的峰值和尾部厚度）。对于摘要数字孪生，偏度值为 −1.36，峰度值为 1.98；对于完整数字孪生，相应值分别为 −1.30 和 1.64。

这些测量结果量化了我们在图 3 中看到的现象。数字孪生的数据比人类数据明显更左偏（约为两倍）。另一方面，峰度急剧升高（高出约 65 到 80 倍），这是由分数在天花板处的人为集中所致，而非人类评分中存在的分布式变异。

是什么解释了准确率的下降？

那么，为什么这项研究的预测误差是前一项研究的两倍？除了分布差异外，另一个促成因素可能是在构建数字孪生时问卷中包含的问题类型。图 4 显示了两项调查之间的差异。AI 聊天机器人调查包含更多问题（68 个对 27 个）。特别是，测量对 AI 态度的 34 个项目可能为我们前一项研究中的 LLM 提供了不仅更多而且更相关的信息。

图 4：用于构建数字孪生的两项调查之间的差异。

总结与讨论

我们使用来自 2025 年商业软件基准研究的 289 名参与者复制了数字孪生实验，有意选择了 SUS 分数为低、中、高的六款产品。以下是研究问题的答案：

随着分数范围的扩大，准确性变差。数字孪生平均高估了约 10.5 分的 SUS 分数，大约是我们看到的高分聊天机器人误差（4.4 分和 6.7 分）的两倍。这相当于约 89% 到 90% 的准确率，而不是 93% 到 96%。我们对首次研究的推测似乎得到了证实：聊天机器人数据中的高分迫使数字孪生更接近人类分数。当人类分数接近量表顶端时，存在向上偏差的预测器没有上升空间。当有空间时，偏差就会完全显现，正如这里按产品和按个体所显示的那样。

拥有调查响应并不重要。完整数字孪生对原始调查响应的额外访问权限几乎没有产生任何影响。两种类型的数字孪生相差 0.2 分，相关系数为 .98。结合首次研究，这表明角色摘要包含了模型用于进行预测的几乎所有信息。添加更多原始数据并不能修正系统性偏差。

虚高的分数可能会在真正开始之前阻止实际研究。10 分的偏移足以使产品在等级上移动两个完整的字母等级。数字孪生数据会让利益相关者将 D 级产品（GitHub）视为 B 级，将 C 级产品（ZipRecruiter）视为 A 级。对于依赖绝对水平的决策，例如与目标进行基准比较、与行业平均值进行比较或报告等级，数字孪生数据会产生严重误导。我们听说过的一个合成用户案例是将其作为预测试，然后再转向真实用户。但这正是我们最担心的地方。一个看起来像真实数据但偏差了两个字母等级的预测试可能导致利益相关者认为体验已经足够好，从而完全跳过实际研究。

相对比较比绝对水平更可靠。产品的排名顺序在很大程度上得以保留（r = .94 到 .95），个体层面的相关性上升至约 .80。较高的相关性可能反映了该数据集中分数分布范围更广（聊天机器人研究中狭窄的范围会抑制这种相关性）。实际上，数字孪生大致可以区分更好的产品和更差的产品，以及更满意的用户和不太满意的用户，但它们始终产生虚高的评级。请记住，在构建数字孪生时，LLM 无法同时访问所有产品，只能访问每个单独的产品。

仅看标准差忽略了压缩现象。我们在首次研究中观察到的变异性降低（这在文献中被广泛报道）并没有体现在整体标准差中。但分布图显示，数字孪生围绕每个产品的典型响应聚集，只有少数极端异常值。如果只看标准差，你会得出结论认为数字孪生捕捉到了人类的变异性，而事实并非如此。由于数字孪生数据在天花板处的聚集，这些巨大的分布差异在偏度（数字孪生的偏度约为两倍）和峰度（数字孪生的峰度为 65 到 85 倍）指标中得到了体现。

结论：在两个数据集和十款产品中，数字孪生一致高估了 SUS 分数，且误差大小取决于人类分数上方的空间有多少。对于高分产品，误差较小（约 3 到 8 分）。对于平均及低于平均水平的产品（通常是 UX 研究试图改进的对象），误差大约翻倍至 10 到 14 分。孪生体在产品排名方面表现尚可（摘要孪生体略好），但不应信任它们使用 SUS 来评估产品的可用性水平。在我们即将发布的文章中，我们计划考察校准或不同的孪生体构建方式能否减少这种系统性偏差，并调查在构建孪生体时不同问卷问题对性能的影响。