研究：用户自预测评分准确率高于推荐算法

用户对自己未来喜好的预测能力往往被低估，其准确性甚至可能超过利用群体行为数据训练的推荐算法。针对这一现象，研究者利用 MovieLens Beliefs 数据集进行了实证检验，对比了用户主观预期与多种机器预测模型的效能差异。 传统观点认为，统计预测理论暗示个体自身的预测对依赖大量用户行为的推荐算法贡献有限；而分散知识理论则指出，个体拥有数据无法捕捉的关于自身品味的独特信息。为了验证这两种理论，研究团队分析了2023至2024年间 MovieLens 平台上的主页提示数据。尽管98.8%的提示未获回应，但在26,020个用户对未看电影的预期评分中，有551条来自277名用户的预期随后得到了至少一天后的实际评分验证。研究将这些预期与四个基准进行对比：平台自身的预测评分、两个协同过滤模型（矩阵分解和物品邻域）以及一个利用其他用户结果训练的堆叠模型。这些训练模型均使用了每位用户的最新评分数据。 结果显示，用户预测自己评分的准确度显著高于所有四个基准。具体而言，用户预期的相关性系数达到0.69，而 MovieLens 平台预测仅为0.34，训练后的推荐器则在0.54到0.59之间。当把用户预期加入所有机器预测和功能特征后，样本外均方误差降低了26%。这种增益在使用早期预期训练并在后期预期测试时依然成立。然而，用户对其他电影的早期预期无法替代当前电影的具体预期。在排序用户自己的电影列表时，训练后的推荐器与用户本人的表现统计上无显著差异；但在处理那些已被大量评分的老电影时，机器的表现持平或更优。 这一发现调和了两种理论：当群体数据丰富时，众包数据足以支撑预测；而在特定物品上，个体能提供额外的关键信息。结合上述结论，研究推导出了四条关于偏好采集和推荐系统评估的设计原则。该工作表明，在推荐系统中引入轻量级的用户主动预期采集机制，可能在特定场景下比单纯依赖历史行为挖掘更具效率，尤其是对于长尾内容或新物品的冷启动问题。不过，考虑到极高的未响应率，如何设计低摩擦的交互以获取高质量的用户预期，仍是产品落地时需要解决的实际挑战。