图上的非独立同分布迁移学习
机器学习
2023-03-21 v2
摘要
迁移学习指的是将知识或信息从相关的源域迁移到目标域。然而,大多数现有的迁移学习理论与算法聚焦于 IID 任务,其中源/目标样本被假设为独立同分布。极少有工作致力于从理论上研究非 IID 任务上的知识可迁移性,例如跨网络挖掘。为弥补这一缺口,在本文中,我们从源图到目标图提出了严格的泛化界与算法用于跨网络迁移学习。关键思想是从 Weisfeiler-Lehman 图同构测试的角度刻画跨网络知识可迁移性。为此,我们提出一种新颖的图子树差异(Graph Subtree Discrepancy)来度量源图与目标图之间的图分布偏移。于是,跨网络迁移学习的泛化误差界,包括跨网络节点分类与链接预测任务,均可依据源域知识与跨域图子树差异推导得出。这进而促使我们提出一种通用图自适应网络(GRADE)以最小化跨网络迁移学习中源图与目标图间的分布偏移。实验结果验证了我们的 GRADE 框架在跨网络节点分类与跨域推荐任务上的有效性与高效性。
引用
@article{arxiv.2212.08174,
title = {Non-IID Transfer Learning on Graphs},
author = {Jun Wu and Jingrui He and Elizabeth Ainsworth},
journal= {arXiv preprint arXiv:2212.08174},
year = {2023}
}
备注
Accepted by AAAI-23