面向序列推荐的互 Wasserstein 差异最小化方法
机器学习
2023-06-21 v2 人工智能
信息检索
摘要
自监督序列推荐通过最大化互信息与精心设计的数据增强，显著提升了推荐性能。然而，互信息估计基于 Kullback-Leibler 散度的计算，存在若干局限，包括非对称估计、样本量呈指数需求以及训练不稳定。此外，现有数据增强多为随机性的，可能通过随机修改破坏序列相关性。这两个问题促使我们研究一种替代性的鲁棒互信息度量，能够建模不确定性并缓解 KL 散度的局限。为此，我们提出了一种基于互 Wasserstein 差异最小化（MStein）的新型自监督学习框架用于序列推荐。我们提出了 Wasserstein 差异度量来度量增强序列之间的互信息。Wasserstein 差异度量建立在 2-Wasserstein 距离之上，其更鲁棒、在小批量尺寸下更高效，且能够建模随机增强过程的不确定性。我们还提出了一种基于 Wasserstein 差异度量的新型对比学习损失。在四个基准数据集上的大量实验证明了 MStein 相对于基线的有效性。更多定量分析显示了其针对扰动的鲁棒性以及批量大小下的训练效率。最后，改进分析表明其对具有显著不确定性的热门用户或物品有更好的表示。源代码见 https://github.com/zfan20/MStein。
引用
@article{arxiv.2301.12197,
title = {Mutual Wasserstein Discrepancy Minimization for Sequential Recommendation},
author = {Ziwei Fan and Zhiwei Liu and Hao Peng and Philip S Yu},
journal= {arXiv preprint arXiv:2301.12197},
year = {2023}
}
备注
Updated with the correction of the asymmetric mistake on the mutual information connection