图对比学习自动化
机器学习
2021-06-29 v2
摘要
图结构数据的自监督学习近期受到关注，旨在从无标签图中学习可泛化、可迁移且鲁棒的表示。其中，图对比学习(GraphCL)展现出良好的表示学习性能。不幸的是，不同于图像数据上的对应方法，GraphCL的有效性依赖于特定的数据增强，由于图数据性质多样，这些增强必须针对每个数据集通过经验法则或试错手动挑选。这显著限制了GraphCL更通用的适用性。为填补这一关键空白，本文提出一个统一的双层优化框架，以在针对特定图数据执行GraphCL时自动、自适应且动态地选择数据增强。该通用框架称为联合增强优化(JOAO)，被实例化为极小极大优化。JOAO所做的增强选择总体上与此前手工调参观察到的“最佳实践”一致：但如今实现了自动化，更灵活且通用。此外，我们提出一种新的增强感知投影头机制，其在每个训练步将输出特征经由对应于所选不同增强的不同投影头进行路由。大量实验表明，在多个不同规模与类型的图数据集上，JOAO表现与包括GraphCL在内的最先进竞争者相当或有时更优，且无需任何费力的针对数据集的增强选择调参。代码发布于https://github.com/Shen-Lab/GraphCL_Automated。
引用
@article{arxiv.2106.07594,
title = {Graph Contrastive Learning Automated},
author = {Yuning You and Tianlong Chen and Yang Shen and Zhangyang Wang},
journal= {arXiv preprint arXiv:2106.07594},
year = {2021}
}
备注
Supplementary materials are available at https://yyou1996.github.io/files/icml2021_graphcl_automated_supplement.pdf. ICML 2021