用于推荐的嵌入谱平衡
信息检索
2025-02-18 v2
摘要
现代推荐系统高度依赖从高维稀疏数据中学习到的高质量表示。尽管已投入大量精力设计强大的算法来提取用户偏好，但导致表现良好表示的因素仍鲜有探讨。本文揭示了现有两两学习范式（即嵌入坍缩问题）中的一个问题：表示倾向于跨越整个嵌入空间的子空间，从而导致次优解并降低模型容量。具体而言，对观察到的交互进行优化等价于低通滤波器，导致用户/项目具有相同的表示并最终导致完全坍缩。虽然负采样作为高通滤波器可缓解坍缩，其效果仅限于特定损失函数，仍导致不完全坍缩。为解决此问题，我们提出一种新方法，称为 DirectSpec，充当可靠的全通滤波器，在训练期间平衡嵌入的谱分布，确保用户/项目实际上跨越整个嵌入空间。此外，我们从去相关性角度对 DirectSpec 进行了深入分析，提出了增强型变体 DirectSpec+，后者采用自放慢梯度更有效地优化无关样本。此外，我们在 DirectSpec+ 和均匀性之间建立了密切联系，表明对比学习（CL）可通过间接平衡谱来缓解坍缩问题。最后，我们在两种流行的推荐模型上实现 DirectSpec 和 DirectSpec+：MF 和 LightGCN。我们的实验结果表明其在紧密的基线之上具有有效性和效率。
关键词
引用
@article{arxiv.2406.12032,
title = {Balancing Embedding Spectrum for Recommendation},
author = {Shaowen Peng and Kazunari Sugiyama and Xin Liu and Tsunenori Mine},
journal= {arXiv preprint arXiv:2406.12032},
year = {2025}
}
备注
ACM Trans on Recommender Systems