无限推荐网络：一种以数据为中心的方法
信息检索
2022-10-13 v3 机器学习
摘要
我们利用神经正切核及其与无限宽神经网络训练的等价性，设计了∞-AE：一种具有无限宽瓶颈层的自编码器。其结果是一个极具表达力却简洁的推荐模型，仅含单一超参数且具备闭式解。借助∞-AE的简洁性，我们还开发了Distill-CF，用于合成微小且高保真的数据摘要，其从极大且稀疏的用户-物品交互矩阵中提炼最重要的知识，以供后续如模型训练、推断、架构搜索等高效而准确的数据使用。这采取了以数据为中心的推荐路径，旨在提升已记录用户反馈数据对于后续建模的质量，且与学习算法无关。我们特别利用可微Gumbel采样的概念来处理固有的数据异质性、稀疏性与半结构化，同时可扩展至含数亿用户-物品交互的数据集。我们所提两种方法均显著优于各自的最先进技术（SOTA）；当联合使用时，仅用原始数据集规模0.1%的数据即可达到∞-AE在完整数据集上96–105%的性能，这引导我们去探究那个反直觉的问题：更好的推荐是否真的需要更多数据？
引用
@article{arxiv.2206.02626,
title = {Infinite Recommendation Networks: A Data-Centric Approach},
author = {Noveen Sachdeva and Mehak Preet Dhaliwal and Carole-Jean Wu and Julian McAuley},
journal= {arXiv preprint arXiv:2206.02626},
year = {2022}
}
备注
Published at NeurIPS '22. $\infty$-AE code available at https://github.com/noveens/infinite_ae_cf and Distill-CF code available at https://github.com/noveens/distill_cf