面向有效多模态图基模型的divide-and-conquer 方法
计算机科学与博弈论
2026-02-05 v1
摘要
图基模型（GFMs）在跨领域泛化方面取得了显著成功，然而它们主要关注文本属性图（TAGs），而多模态属性图（MAGs）则鲁然被忽视。发展多模态图基模型（MGFMs）允许利用 MAGs 中的丰富信息，并将适用性扩展到更广泛的下游任务。尽管近期的 MGFMs 整合了多样化的模态信息，但我们的实证研究揭示了现有 MGFMs 的两个根本局限性：(1) 它们未显式建模模态相互作用，这对于捕捉超越简单聚合的复杂跨模态语义至关重要；(2) 它们 exhibits 次优的模态对齐，这对于桥接不同模态空间之间的显著语义差异至关重要。为解决这些挑战，我们提出了 PLANET（graPh topoLogy-aware modAlity iNteraction and alignmEnT），一种 novel 框架，采用 divide-and-conquer 策略在不同粒度上解耦模态相互作用和对齐。在嵌入粒度上，(1) Embedding-wise Domain Gating（EDG）通过自适应注入基于拓扑感知的跨模态上下文，实现局部语义丰富，从而实现模态相互作用。在节点粒度上，(2) Node-wise Discretization Retrieval（NDR）通过构建离散语义表示空间（DSRS）实现全局模态对齐，以桥接模态间的差距。广泛实验表明，PLANET 在多样化的图中心和多模态生成任务上均显著优于最新的基线方法。
引用
@article{arxiv.2602.04115,
title = {Robustness of Stable Matchings When Attributes and Salience Determine Preferences},
author = {Amit Ronen and S. S. Ravi and Sarit Kraus},
journal= {arXiv preprint arXiv:2602.04115},
year = {2026}
}
备注
Accepted to AAMAS 2026. This arXiv version contains the full appendix