BSL：理解与改进推荐中的Softmax损失
机器学习
2023-12-21 v1 人工智能
信息检索
摘要
损失函数引导推荐模型的优化方向，对模型性能至关重要，但在最近的推荐研究中受到的关注相对较少。在各种损失函数中，我们发现Softmax损失（SL）不仅实现了显著的准确性，而且具有更好的鲁棒性和公平性。然而，当前文献缺乏对SL有效性的全面解释。为填补这一研究空白，我们对SL进行了理论分析，并揭示了三个见解：1）优化SL等价于对负数据进行分布鲁棒优化（DRO），从而学习对抗负分布上的扰动，并对噪声负样本具有鲁棒性。2）与其他损失函数相比，SL隐式地惩罚预测方差，导致预测值之间的差距更小，从而产生更公平的结果。基于这些见解，我们进一步提出了一种新颖的损失函数——双边Softmax损失（BSL），它将SL的优势扩展到正负两侧。BSL通过将用于负样本的相同Log-Expectation-Exp结构应用于正样本，从而增强了SL，使模型也对噪声正样本具有鲁棒性。值得注意的是，BSL简单且易于实现——与SL相比，只需额外一行代码。在四个真实世界数据集和三个代表性骨干网络上的实验证明了我们提出的有效性。代码可在https://github.com/junkangwu/BSL获取。
引用
@article{arxiv.2312.12882,
title = {BSL: Understanding and Improving Softmax Loss for Recommendation},
author = {Junkang Wu and Jiawei Chen and Jiancan Wu and Wentao Shi and Jizhi Zhang and Xiang Wang},
journal= {arXiv preprint arXiv:2312.12882},
year = {2023}
}