中文

图对比学习的可证明训练

机器学习 2024-05-27 v4

摘要

图对比学习(GCL)已成为一种流行的训练方法,用于从无标签的增强图中学习节点嵌入。尽管最大化正节点对间相似度同时最小化负节点对间相似度这一关键原则已确立,一些基本问题仍不清楚。考虑到复杂的图结构,是否某些节点在不同图增强下始终被良好训练并遵循该原则?还是存在某些节点更可能在各图增强中未被训练而违背该原则?如何区分这些节点并进一步指导GCL的训练?为回答这些问题,我们首先给出实验证据,表明GCL的训练在所有节点上确实不平衡。为解决该问题,我们提出度量“节点紧致度”,即节点遵循与增强范围相关的GCL原则的下界。我们进一步通过界传播从理论上推导节点紧致度的形式,其可作为正则化项集成到二元交叉熵中。为此,我们提出用于GCL的PrOvable Training(POT),将GCL的训练正则化以编码更好遵循GCL原则的节点嵌入。通过在多个基准上的大量实验,POT持续改良现有GCL方法,可作为友好插件使用。

关键词

引用

@article{arxiv.2309.13944,
  title  = {Provable Training for Graph Contrastive Learning},
  author = {Yue Yu and Xiao Wang and Mengmei Zhang and Nian Liu and Chuan Shi},
  journal= {arXiv preprint arXiv:2309.13944},
  year   = {2024}
}

备注

NeurIPS 2023 spotlight. Camera-ready version