图是跨数据模态的基质
机器学习
2026-05-27 v2 人工智能
摘要
图提供了自然的关系结构表示，遍布于多样领域。尽管如此，图结构通常以模态和任务为隔离的方式学习，其中图表示仅在单个任务上下文中构建，随后被丢弃。结果是，跨模态和任务间的结构规律被反复重建，而非在中间图表示层面积累。这就引出一个表示学习问题：图结构应如何组织，以便其能够跨异构模态和任务持久存在并积累？我们采用以表示为中心的视角，将图结构视为跨学习背景持久存在的结构基质。为实现此视角，我们提出G-Substrate，一种图基质框架，以共享图结构为学习组织核心。G-Substrate包含两种互补机制：统一的结构模式确保跨异构模态和任务的图表示兼容性；交叉式角色基于训练策略将相同的图结构暴露于多个功能角色。跨多个领域、模态和任务的实验表明，G-Substrate优于任务隔离和朴素多任务学习方法。代码、模型和数据集均已公开于https://github.com/zmli6/G-Substrate。
引用
@article{arxiv.2601.22384,
title = {Graph is a Substrate Across Data Modalities},
author = {Ziming Li and Xiaoming Wu and Zehong Wang and Jiazheng Li and Yijun Tian and Jinhe Bi and Yunpu Ma and Yanfang Ye and Chuxu Zhang},
journal= {arXiv preprint arXiv:2601.22384},
year = {2026}
}
备注
Graph structure across data modalities, accepted by ICML26