用于多源域适应的自监督图神经网络
机器学习
2024-01-17 v2
摘要
域适应（DA）试图解决测试数据未完全遵循训练数据相同分布的情形，而多源域适应（MSDA）对真实应用极具吸引力。通过从大规模无标签样本学习，自监督学习已成为深度学习的新趋势。值得注意的是，自监督学习与多源域适应有着相似目标：均旨在利用无标签数据学习更具表达力的表示。遗憾的是，传统多任务自监督学习面临两点挑战：（1） pretext任务可能与下游任务关联不强，从而难以从pretext任务向目标任务迁移有用知识；（2）当pretext任务与下游任务共享同一特征提取器且仅使用不同预测头时，难以实现任务间信息交换与知识共享。为解决这些问题，我们提出一种新颖的\textbf{自}监督\textbf{图}神经网络（SSG），以图神经网络为桥梁实现更有效的任务间信息交换与知识共享。通过采用掩码令牌策略掩盖部分域信息，学习到更具表达力的表示。大量实验表明，我们所提SSG方法在四个多源域适应数据集上取得了state-of-the-art结果，从不同方面印证了SSG方法的有效性。
引用
@article{arxiv.2204.05104,
title = {Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation},
author = {Jin Yuan and Feng Hou and Yangzhou Du and Zhongchao Shi and Xin Geng and Jianping Fan and Yong Rui},
journal= {arXiv preprint arXiv:2204.05104},
year = {2024}
}