理解交叉熵损失在公平评估基于大型语言模型的推荐中的作用
信息检索
2024-02-23 v2
摘要
大型语言模型（LLM）在推荐社区中受到了广泛关注；一些研究观察到，通过带有完整 softmax 的交叉熵损失进行微调，LLM 已经能够达到最先进的性能。然而，这些结论是基于不客观和不公平的比较得出的。鉴于现实中物品的庞大数量，传统推荐系统通常在训练时采用逐点/成对损失函数作为替代。然而，这种替代会导致严重的性能退化，从而低估了传统方法，并高估了 LLM 的排序能力。在这项工作中，我们从理论上论证了交叉熵的优越性，并表明通过某些必要的修改，它可以被一些基本的近似方法充分替代。在三个公共数据集上的显著结果表明，即使从实际意义上讲，现有的基于 LLM 的方法在下一项推荐任务中并不像声称的那样有效。我们希望这些理论理解结合实证结果将促进未来对基于 LLM 推荐的客观评估。
引用
@article{arxiv.2402.06216,
title = {Understanding the Role of Cross-Entropy Loss in Fairly Evaluating Large Language Model-based Recommendation},
author = {Cong Xu and Zhangchi Zhu and Jun Wang and Jianyong Wang and Wei Zhang},
journal= {arXiv preprint arXiv:2402.06216},
year = {2024}
}
备注
16 pages