初始化至关重要：面向神经推荐系统的流形感知初始化正则化
信息检索
2021-08-13 v2 机器学习
摘要
恰当的初始化对神经网络的优化与泛化至关重要。然而，现有大多数神经推荐系统随机初始化用户与物品嵌入。本工作中，我们提出一种称为基于流行度正则化的孤立数据拉普拉斯特征映射（LEPORID）的用户与物品嵌入初始化方案。LEPORID赋予嵌入关于数据流形上多尺度邻域结构的信息，并执行自适应正则化以补偿数据分布尾部上较高的嵌入方差。利用矩阵稀疏性，LEPORID嵌入可被高效计算。我们在广泛的神经推荐模型中评估LEPORID。与近期关于简单K近邻（KNN）方法常优于神经推荐系统的惊人发现相反，我们表明以LEPORID初始化的现有神经系统常表现与KNN相当或更好。为最大化初始化效果，我们提出双损失残差推荐（DLR2）网络，该网络在以LEPORID初始化时大幅优于传统及最先进的神经推荐系统。
引用
@article{arxiv.2106.04993,
title = {Initialization Matters: Regularizing Manifold-informed Initialization for Neural Recommendation Systems},
author = {Yinan Zhang and Boyang Li and Yong Liu and Hao Wang and Chunyan Miao},
journal= {arXiv preprint arXiv:2106.04993},
year = {2021}
}