将排序偏好一致性作为推荐系统的合适度量
信息检索
2024-04-29 v1
摘要
在本文中，我们论证了基于预测评分与实际用户评分之间差异的传统酉不变推荐系统（RS）性能度量无法评估RS的基本属性。更具体地说，将优化问题设定为预测精确用户评分，仅为RS应用通常所需的能力（即准确预测用户偏好的能力）提供了间接且次优的近似。我们认为，诸如RMSE和MAE等关于实际评分与预测评分差异的标量度量，仅仅是衡量RS准确估计用户偏好能力的代理指标。我们提出了一种我们认为更适合评估RS性能的度量，即排序偏好一致性，它仅计算与用户表达的产品偏好不一致的预测对数量。例如，如果RS预测用户对产品A的偏好高于产品B，但用户保留的评分表明其更偏好产品B而非A，则违反了排序偏好一致性。我们的测试结果确凿地表明，为优化诸如RMSE等任意度量而定制的方法，在准确预测用户偏好方面通常无效。因此，我们得出结论，用于评估RS性能的传统方法是任意的且具有误导性的。
引用
@article{arxiv.2404.17097,
title = {Rank-Preference Consistency as the Appropriate Metric for Recommender Systems},
author = {Tung Nguyen and Jeffrey Uhlmann},
journal= {arXiv preprint arXiv:2404.17097},
year = {2024}
}