数字孪生预测商业软件SUS分数存在系统性高估

利用真实用户数据构建的数字孪生在预测商业软件系统可用性量表（SUS）得分时存在显著的系统性高估偏差，平均误差达10.5分，足以导致产品评级发生两级跳变，因此不可用于依赖绝对水平的基准测试或决策。 MeasuringU团队在2025年商业软件UX基准研究中选取了6款SUS得分跨度较大的产品（从GitHub的61.3分到Slack的81.5分），利用Claude Sonnet 5为289名参与者构建了“摘要型”和“完整型”两种数字孪生体进行复现实验。结果显示，两类孪生体的预测均值均显著高于人类实际得分，且这种高估在个体层面普遍存在（76%-80%的情况）。与之前针对高分AI聊天机器人的研究相比，本次实验中的误差幅度翻倍，证实了此前的高准确率部分源于天花板效应：当人类得分接近量表上限时，向上偏置的预测值无处可去；而在中等及低分段，偏差则充分显现。 尽管绝对数值失真，数字孪生在保持产品间的相对排名方面表现尚可（相关系数r=0.94-0.95），且增加原始问卷数据并未提升预测精度，表明模型主要依赖人格摘要信息。