权重衰减在协同过滤中的作用：一种基于流行度的视角
信息检索
2025-09-03 v2 机器学习
摘要
协同过滤（CF）通过将历史用户-项目交互信息编码为稠密 ID 嵌入表来实现大规模推荐系统。然而，随着嵌入表的增长，闭形式解变得不切实际，往往需要使用小批量梯度下降进行训练。尽管已广泛设计损失函数来训练 CF 模型，但我们认为这些管道中的一个核心组件被严重忽视了：权重衰减。实现高性能模型通常需要精细调谐权重衰减，无论采用何种损失函数，而其必要性并不为人所知。本文我们质疑权重衰减在 CF 管道中的重要性，以及其对训练的影响。通过理论与实证分析，我们惊讶地发现，权重衰减的主要功能是将流行度信息编码到嵌入向量的幅度中。此外，我们发现调谐权重衰减相当于影响偏好是倾向于流行还是不流行物品的粗糙、非线性旋钮。基于这些发现，我们提出 PRISM（Popularity-awaRe Initialization Strategy for embedding Magnitudes），一个简单而有效的解决方案，用于简化高性能 CF 模型的训练。我们的实验显示，PRISM 比最先进的训练策略在性能上提升最高可达 4.77%，训练时间缩短 38.48%。此外，我们对 PRISM 进行参数化，以调节初始化强度，为缓解流行度偏差提供一种成本效益高且有意义的策略。
引用
@article{arxiv.2505.11318,
title = {On the Role of Weight Decay in Collaborative Filtering: A Popularity Perspective},
author = {Donald Loveland and Mingxuan Ju and Tong Zhao and Neil Shah and Danai Koutra},
journal= {arXiv preprint arXiv:2505.11318},
year = {2025}
}
备注
Accepted at SIGKDD 2025