揭示Top-N指标对推荐系统优化的隐藏影响

用于top-N预测的推荐系统的超参数通常被优化以提高算法的预测性能。因此，优化算法（如网格搜索或随机搜索）根据优化目标指标（如nDCG或Precision）搜索最佳超参数配置。相反，被优化的算法在训练期间内部优化不同的损失函数，如平方误差或交叉熵。为了解决这种差异，最近的工作集中于生成更适合推荐系统的损失函数。然而，在优化过程中使用top-N指标评估算法时，优化目标指标与训练损失之间的另一种差异迄今为止被忽略了。在优化过程中，选择top-N项目来计算top-N指标；忽略了这些top-N项目是从使用完全不同的损失函数训练的模型推荐中选出的。适合优化目标指标的项目推荐可能位于top-N推荐项目之外；从而隐藏地影响优化性能。因此，我们被激励去分析top-N项目对于优化目标top-N指标是否最优。为了寻求答案，我们除了选择top-N之外，还详尽评估了250种选择策略的预测性能。我们在十二个隐式反馈和八个显式反馈数据集上，使用十一种推荐系统算法，对每种选择策略进行了广泛评估。我们的结果表明，存在除top-N之外的选择策略，可以提高各种算法和推荐领域的预测性能。然而，前约43%的选择策略的性能没有显著差异。我们讨论了我们的发现对推荐系统中优化和重排序的影响以及可行的解决方案。