迈向缓解协同过滤中表征的维度坍缩
信息检索
2024-01-01 v1
摘要
对比学习 (CL) 在协同过滤中已展现出令人瞩目的性能。其核心思想是通过最大化同一实例不同增强视图之间的互信息，生成增强不变的嵌入。然而，我们 empirically 观察到现有的 CL 模型遭受维度坍缩 (dimensional collapse) 问题的困扰，即用户/物品嵌入仅张成了整个特征空间的低维子空间。这抑制了其他维度信息并削弱了嵌入的区分度。在此，我们提出了一种名为 nCL 的非对比学习目标，旨在显式缓解协同过滤中表征的维度坍缩。我们的 nCL 旨在使嵌入空间实现对齐 (Alignment) 和紧凑性 (Compactness) 的几何特性。具体而言，对齐试图将正相关用户 - 物品对的表征推近，而紧凑性则倾向于在给定的失真度下寻找用户/物品嵌入的最佳编码长度。更重要的是，我们的 nCL 在训练过程中不需要数据增强或负采样，使其可扩展至大规模数据集。实验结果证明了我们要提出的 nCL 的优越性。
引用
@article{arxiv.2312.17468,
title = {Towards Mitigating Dimensional Collapse of Representations in Collaborative Filtering},
author = {Huiyuan Chen and Vivian Lai and Hongye Jin and Zhimeng Jiang and Mahashweta Das and Xia Hu},
journal= {arXiv preprint arXiv:2312.17468},
year = {2024}
}