PDT：面向时间感知二部图的预训练双Transformer
人工智能
2023-09-26 v3
摘要
大模型上的预训练在许多机器学习应用类别中随着用户生成内容的不断增长而普遍且兴起。人们已认识到，从刻画用户-内容交互的数据集中学习上下文知识对下游任务起着至关重要的作用。尽管若干研究试图通过预训练方法学习上下文知识，但为此类任务寻找最优训练目标与策略仍是一个挑战性问题。本工作中，我们认为对于用户-内容交互可表示为二部图的数据集，上下文知识有两个不同方面，即用户侧与内容侧。为学习上下文知识，我们提出一种预训练方法，学习用户侧与内容侧空间之间的双向映射。我们将训练目标表述为对比学习任务，并提出双Transformer架构来编码上下文知识。我们在推荐任务上评估所提方法。实证研究表明，所提方法以显著优势优于所有基线。
引用
@article{arxiv.2306.01913,
title = {PDT: Pretrained Dual Transformers for Time-aware Bipartite Graphs},
author = {Xin Dai and Yujie Fan and Zhongfang Zhuang and Shubham Jain and Chin-Chia Michael Yeh and Junpeng Wang and Liang Wang and Yan Zheng and Prince Osei Aboagye and Wei Zhang},
journal= {arXiv preprint arXiv:2306.01913},
year = {2023}
}