通过无参数元节点近似的高效块对比学习
机器学习
2022-09-29 v1 信息检索
摘要
对比学习近来在许多领域包括图领域取得了显著成功。然而对比损失，尤其是图上的对比损失，需要大量负样本，具有二次时间复杂度，不可扩展且计算代价高昂。子采样并非最优，且不正确的负采样会导致采样偏差。在本工作中，我们提出一种基于元节点的近似技术，其能够 (a) 代理所有负样本组合，(b) 以二次簇大小时间复杂度，(c) 在图级别而非节点级别，(d) 利用图稀疏性。通过以加性簇对替代节点对，我们在图级别以簇时间计算负样本。所得到的基于简单优化 GPU 操作的代理近似元节点对比(PamC)损失捕获了完整的负样本集合，却具有线性时间复杂度的高效性。通过避免采样，我们有效消除了样本偏差。我们满足了更多样本数的准则，从而实现了块对比性，其被证明优于成对损失。我们使用学习到的软簇分配进行元节点构造，并避免在边创建过程中可能引入的异配性与噪声。理论上，我们展示了真实世界图轻易满足我们近似所需的条件。在经验上，我们在 6 个基准上展示了相对于最先进图聚类的有前景的准确率提升。重要的是，我们在效率上获得大幅收益：训练时间至多 3 倍、推断时间 1.8 倍以及 GPU 内存减少超过 5 倍。
引用
@article{arxiv.2209.14067,
title = {Efficient block contrastive learning via parameter-free meta-node approximation},
author = {Gayan K. Kulatilleke and Marius Portmann and Shekhar S. Chandra},
journal= {arXiv preprint arXiv:2209.14067},
year = {2022}
}