采样 softmax 损失在物品推荐中的有效性研究
信息检索
2023-12-20 v2
摘要
学习目标在构建推荐系统中起着基础性作用。大多数方法例行采用逐点损失或成对损失来训练模型参数，而由于 softmax 损失在扩展到大型数据集时的计算复杂性或对流式数据的难处理性，很少关注它。采样 softmax（SSM）损失作为 softmax 损失的高效替代而出现。其特例 InfoNCE 损失已在自监督学习中广泛使用，并展现出卓越的对比学习性能。尽管如此，有限的推荐工作使用 SSM 损失作为学习目标。更糟糕的是，据我们所知，它们中没有一个彻底探索其性质并回答“SSM 损失适合物品推荐吗？”以及“与主流损失相比，SSM 损失的概念性优势是什么？”。在这项工作中，我们旨在更好地理解用于物品推荐的 SSM。具体而言，我们首先从理论上揭示了三个与模型无关的优势：（1）缓解流行度偏差；（2）挖掘困难负样本；（3）最大化排序指标。然而，基于我们的实证研究，我们认识到 SSM 中余弦相似度函数的默认选择限制了其学习表示向量幅值的能力。因此，SSM 与同样不擅长调整幅值的模型结合可能导致糟糕的表示。更进一步，我们提供数学证明：图卷积网络中的消息传递方案可根据节点度调整表示幅值，这自然弥补了 SSM 的缺陷。在四个基准数据集上的大量实验证实了我们的分析，展示了 SSM 用于物品推荐的优越性。我们的实现在 TensorFlow 和 PyTorch 中均可用。
引用
@article{arxiv.2201.02327,
title = {On the Effectiveness of Sampled Softmax Loss for Item Recommendation},
author = {Jiancan Wu and Xiang Wang and Xingyu Gao and Jiawei Chen and Hongcheng Fu and Tianyu Qiu},
journal= {arXiv preprint arXiv:2201.02327},
year = {2023}
}
备注
Accepted by TOIS