StructComp：在图对比学习训练中以结构压缩替代传播
机器学习
2024-05-10 v4
摘要
图对比学习（GCL）已成为学习图数据的强大工具，但其可扩展性仍是一个重大挑战。本文中，我们提出一个简单而有效的训练框架，称为结构压缩（StructComp），以解决此问题。受扩散矩阵上稀疏低秩近似的启发，StructComp 使用压缩后的节点训练编码器。这使得编码器在训练阶段无需执行任何消息传递，并显著减少了对比损失中样本对的数量。我们从理论上证明，原始 GCL 损失可以通过 StructComp 计算的对比损失来近似。此外，StructComp 可被视为 GCL 模型的一个额外正则化项，从而得到更鲁棒的编码器。在多个数据集上的实证研究表明，与原始 GCL 模型和可扩展训练方法相比，StructComp 在提升模型性能的同时，大幅降低了时间和内存消耗。
引用
@article{arxiv.2312.04865,
title = {StructComp: Substituting Propagation with Structural Compression in Training Graph Contrastive Learning},
author = {Shengzhong Zhang and Wenjie Yang and Xinyuan Cao and Hongwei Zhang and Zengfeng Huang},
journal= {arXiv preprint arXiv:2312.04865},
year = {2024}
}
备注
Accepted by ICLR 2024