通过任务超图实现推荐的统一预训练
信息检索
2023-10-23 v1 人工智能
摘要
尽管预训练近年来获得了显著关注与普及，但其在基于图的推荐系统中的应用相对有限。在广泛使用的依赖 ID 的数据集中通过预训练利用先验知识具有挑战性。一方面，一个数据集中的用户-物品交互历史很难通过预训练迁移到其他数据集，因为 ID 不同。另一方面，在同一数据集上预训练与微调会导致很高的过拟合风险。本文中，我们提出一种名为通过任务超图实现推荐的统一预训练（UPRTH）的新颖多任务预训练框架。为以统一学习模式处理各种前置任务的不同需求与细微差别，我们设计任务超图将前置任务推广为超边预测。设计了一种新颖的过渡注意力层，以判别性地学习每个前置任务与推荐之间的相关性。在三个基准数据集上的实验结果验证了 UPRTH 的优越性。还进行了额外的详细研究以证明所提框架的有效性。
引用
@article{arxiv.2310.13286,
title = {Unified Pretraining for Recommendation via Task Hypergraphs},
author = {Mingdai Yang and Zhiwei Liu and Liangwei Yang and Xiaolong Liu and Chen Wang and Hao Peng and Philip S. Yu},
journal= {arXiv preprint arXiv:2310.13286},
year = {2023}
}
备注
Accepted by WSDM 2024