负采样下推荐损失函数的理论分析
信息检索
2025-04-22 v3
摘要
类别交叉熵（CCE）、二元交叉熵（BCE）和贝叶斯个性化排序（BPR）等损失函数常用于训练推荐系统（RSs），以区分正样本——即用户交互过的项目——和负样本。虽然先前的工作在经验上表明，当使用完整负样本集时 CCE 优于 BCE 和 BPR，但我们通过证明 CCE 为排名指标（如归一化折扣累积增益（NDCG）和平均倒数排名（MRR））提供了最紧的下界，其次是 BPR 和 BCE，从而给出了理论解释。然而，对于大规模推荐系统，使用完整负样本集在计算上是不可行的，这促使了负采样技术的使用。在负采样下，我们揭示了当抽取单个负样本时 BPR 和 CCE 是等价的，且三种损失都收敛到同一全局最小值。我们进一步证明，采样损失仍然是 NDCG（MRR）的下界，尽管是在概率意义上。我们的最坏情况分析表明，BCE 为 NDCG（MRR）提供了最强的界。在五个数据集和四个模型上的实验从经验上支持了这些理论发现。我们的代码和补充材料可在 https://github.com/federicosiciliano/recsys_losses.git 获取。
引用
@article{arxiv.2411.07770,
title = {A Theoretical Analysis of Recommendation Loss Functions under Negative Sampling},
author = {Giulia Di Teodoro and Federico Siciliano and Nicola Tonellotto and Fabrizio Silvestri},
journal= {arXiv preprint arXiv:2411.07770},
year = {2025}
}
备注
main paper 12 pages, 4 figures