DropMix：用更难负样本改进图对比学习
机器学习
2023-10-17 v1 人工智能
摘要
尽管在计算机视觉（CV）和自然语言处理（NLP）领域，为对比学习生成更好的负样本已被广泛研究，但极少有工作关注图结构数据。近来，Mixup被引入以在图对比学习（GCL）中合成困难负样本。然而，由于GCL的无监督学习性质，在没有软标签辅助的情况下，直接混合样本表征可能无意中导致原始困难负样本的信息丢失，进而对新生更难负样本的质量产生不利影响。为解决该问题，本文提出一种名为DropMix的新方法以合成更难负样本，其包含两个主要步骤。具体而言，我们首先通过同时从图的局部和全局视图度量硬度来筛选若干困难负样本。此后，我们仅在部分表征维度上混合困难负样本以生成更难负样本，并降低Mixup带来的信息损失。我们进行了大量实验以在六个基准数据集上验证DropMix的有效性。结果表明，我们的方法能带来更好的GCL性能。我们的数据和代码公开于https://github.com/Mayueq/DropMix-Code。
引用
@article{arxiv.2310.09764,
title = {DropMix: Better Graph Contrastive Learning with Harder Negative Samples},
author = {Yueqi Ma and Minjie Chen and Xiang Li},
journal= {arXiv preprint arXiv:2310.09764},
year = {2023}
}