GSINA：通过图Sinkhorn注意力改进图不变学习中的子图提取
机器学习
2026-01-22 v2 人工智能
摘要
图不变学习（GIL）旨在寻找分布偏移下图与标签之间的不变关系。近期研究尝试提取不变子图以提高分布外（OOD）泛化能力，然而现有方法要么缺乏对紧凑性的显式控制，要么依赖于硬性top-选择，这缩小了解空间且仅部分可微。在本文中，我们深入分析了现有工作的一些缺点，并为不变子图提取提出了几条通用原则：1）可分离性，由我们的稀疏驱动机制所鼓励，以滤除不相关的共同特征；2）软性，以获得更广阔的解空间；3）可微性，以实现稳健的端到端优化流程。具体而言，基于最优传输理论，我们提出了图Sinkhorn注意力（GSINA），这是一种完全可微、基数约束的注意力机制，通过Sinkhorn迭代分配稀疏而软的边权重，并诱导节点注意力。GSINA为可分离性和软性提供了显式控制，并使用Gumbel重参数化来稳定训练。其收敛行为也得到了理论研究。在合成和真实数据集上的大量实证实验结果表明...
引用
@article{arxiv.2402.07191,
title = {GSINA: Improving Subgraph Extraction for Graph Invariant Learning via Graph Sinkhorn Attention},
author = {Junchi Yan and Fangyu Ding and Jiawei Sun and Zhaoping Hu and Yunyi Zhou and Lei Zhu},
journal= {arXiv preprint arXiv:2402.07191},
year = {2026}
}