同一优化硬币的两个面：图基模型中的模型退化与表征坍塌
机器学习
2025-09-22 v4
摘要
受大语言模型成功的启发，图基模型（GFM）旨在从多域文本属性图中学习最优嵌入函数，以实现下游跨任务的泛化能力。尽管在日益多样化的GFM架构中，图VAE-MAE脱颖而出。这归因于其能够将来自多个域的拓扑和文本属性联合编码到具有清晰语义边界的离散嵌入空间中。尽管具有潜力，但域泛化导致隐形问题。本文实例化其中两个问题，它们就像同一GFM优化硬币的两面——面1模型退化：编码器和码本未能捕捉输入的多样性；面2表征坍塌：隐藏嵌入和码本向量因受限表征子空间的约束，未能保持语义可分性。这两个问题（面）整体上损害解码器，生成低质量的重构监督，导致GFM在预训练（硬币）期间出现优化困境。通过实证调查，我们将上述挑战归因于信息瓶颈和正则化不足。为此，我们提出了MoT——（1）针对两个问题的信息调控，利用边缘级语义融合策略和基于域的路由混合码本，提高信息容量。（2）针对优化硬币的正则化调控，利用两个额外的正则化进一步提高我们提出的MoT的梯度监督。值得注意的是，作为一个灵活的架构，MoT遵循GFM的比例定律，提供可控的模型规模。与SOTA基线相比，在6个域22个数据集上的实验表明，MoT在监督、few-shot和zero-shot情景中均实现显著改进。
引用
@article{arxiv.2509.08401,
title = {Two Facets of the Same Optimization Coin: Model Degradation and Representation Collapse in Graph Foundation Models},
author = {Xunkai Li and Daohan Su and Sicheng Liu and Ru Zhang and Zhenjun Li and Bing Zhou and Rong-Hua Li and Guoren Wang},
journal= {arXiv preprint arXiv:2509.08401},
year = {2025}
}