图基 foundation 模型何时能实现迁移?面向数据中心理论
机器学习
2026-05-29 v1
摘要
图基 foundation 模型(GFMs)旨在在多样化的图域之间复用单一的 backbone,但其迁移效果往往不均衡且可能出现负迁移。虽然大多数前期工作通过架构或适配选择来提升迁移效果,但我们提出一个数据中心问题:两种图域的哪些属性决定了固定表示模型输出变化的程度?我们采用基于 graphon 的连续极限处理稠密图,证明对于集合-based 和 message-passing tokenizations,任何 Lipschitz 型的 backbone 都可显式分解跨域输出偏移为 (i) 图特有的有限样本逼近项和 (ii) 捕捉结构不匹配的内在、与 relabeling 不变的域间差异。关键要素是位置编码(PE)稳定性:我们为谱系 PE 建立了稳定性保证,并指出特征向量型与子空间型 PEs 的行为差异。合成图和真实图上的实验验证了该理论,并将分解转化为 GFMs 迁移中数据聚焦的指导。
引用
@article{arxiv.2605.29828,
title = {When Do Graph Foundation Models Transfer? A Data-Centric Theory},
author = {Jiajun Zhu and Ying Chen and Peihao Wang and Yixuan He and Pan Li and Aditya Akella and Zhangyang Wang},
journal= {arXiv preprint arXiv:2605.29828},
year = {2026}
}
备注
21 pages, including appendix. Accepted at ICML 2026