解耦加权与选择以整合多个图预训练任务
机器学习
2024-03-05 v1 人工智能
摘要
近年来，图预训练在图表示学习方面取得了巨大成功。随着数百个图预训练任务的提出，整合从多个预训练任务中获得的知识已成为一个热门研究课题。在本文中，我们确定了该主题的两个重要协作过程：(1) 选择：如何根据任务兼容性从给定任务池中选择最优任务组合；(2) 加权：如何根据任务重要性对所选任务进行加权。虽然目前已有大量工作专注于加权，但相对较少的工作致力于选择。本文提出了一种新颖的实例级框架，用于整合多个图预训练任务，即加权与选择，其中两个协作过程——加权和选择——通过解耦孪生网络相结合。具体来说，它首先从给定任务池中为每个实例自适应地学习一个最优任务组合，在此基础上学习定制的实例级任务加权策略。在16个图数据集上的大量实验，涵盖节点级和图级下游任务，表明通过结合几个简单但经典的任务，WAS可以达到与其他领先方法相当的性能。代码可在https://github.com/TianyuFan0504/WAS获取。
引用
@article{arxiv.2403.01400,
title = {Decoupling Weighing and Selecting for Integrating Multiple Graph Pre-training Tasks},
author = {Tianyu Fan and Lirong Wu and Yufei Huang and Haitao Lin and Cheng Tan and Zhangyang Gao and Stan Z. Li},
journal= {arXiv preprint arXiv:2403.01400},
year = {2024}
}
备注
Published as a conference paper at ICLR 2024