EvoluNet：推进图上的动态非独立同分布迁移学习
机器学习
2024-08-14 v6
摘要
图上的非独立同分布（non-IID）迁移学习在许多高风险领域至关重要。现有工作大多假设源域与目标域均为平稳分布。然而，真实世界的图本质上是动态的，带来了域演化以及源域与目标域间动态差异的挑战。为弥补差距，我们将问题转向动态设定并提出疑问：给定先前 T 个时间戳观测到的标签丰富源图与标签稀缺目标图，如何有效刻画演化的域差异并优化目标域在即将到来的 T+1 时间戳的泛化性能？为回答该问题，我们提出了图上动态非独立同分布迁移学习的泛化界，表明泛化性能由域演化及源图与目标图间的域差异主导。受理论结果启发，我们引入名为 EvoluNet 的新型通用框架。它利用基于 transformer 的时间编码模块建模演化域的时间信息，随后使用动态域统一模块高效学习跨源域与目标域的域不变表示。最终，EvoluNet 比最先进（SOTA）模型高出至多 12.1%，证明了其从动态源图向动态目标图迁移知识的有效性。
引用
@article{arxiv.2305.00664,
title = {EvoluNet: Advancing Dynamic Non-IID Transfer Learning on Graphs},
author = {Haohui Wang and Yuzhen Mao and Yujun Yan and Yaoqing Yang and Jianhui Sun and Kevin Choi and Balaji Veeramani and Alison Hu and Edward Bowen and Tyler Cody and Dawei Zhou},
journal= {arXiv preprint arXiv:2305.00664},
year = {2024}
}
备注
Accepted at ICML 2024