重访魔法屏障：探索推荐系统评估的自然局限性

推荐系统如今拥有众多应用并带来巨大的经济效益。因此，对于以成功为导向的公司而言，比较不同的此类系统并为其目的选择更优系统是至关重要的。为此，通常使用各种预测准确性指标，如均方根误差 (RMSE)、精确率 (precision) 和召回率 (recall)。所有这些指标在某种程度上都衡量了推荐系统预测人类行为的能力。不幸的是，人类行为总是伴随着一定程度的不确定性，这使得评估变得困难，因为尚不清楚偏差是由系统引起的，还是仅仅源于人类决策的自然变异性。在此节点上，一些学者推测我们可能正触及某种“魔法屏障”(Magic Barrier)，这种变异性阻碍了我们获得更高的准确性。在本文中，我们将现有的魔法屏障理论扩展为一种新的概率化但仍具实用性的模型。特别是，我们将利用计量学和物理学的方法，开发易于处理的计算量，以描述不同准确性指标下的魔法屏障，并为常见应用提供建议。这一讨论得到了针对真实用户的综合实验以及在高性能集群上进行的大规模模拟的证实。