自带视角:无需预制数据增强的图对比学习
机器学习
2022-01-06 v1
摘要
自监督近期在图学习的新前沿蓬勃发展。它有助于下游任务获益的图表示;但其成功可能依赖于手工的领域知识或往往昂贵的试错。即便其最先进代表——图对比学习(GraphCL),也未能完全摆脱此类需求,因为GraphCL使用了由图数据增强的临时人工选择所反映的预制先验。我们的工作旨在通过回答以下问题来推进GraphCL:如何表示图增强视图的空间?可依据什么原则在该空间中学习先验?以及可构建何种框架以与对比学习协同学习该先验?相应地,我们将增强集中的预制离散先验,扩展为图生成器参数空间中可学习的连续先验,假设图先验本身类似于图像流形概念,可通过数据生成来学习。此外,为形成对比视图而不因先验可学习性坍缩至平凡解,我们利用了信息最小化(InfoMin)与信息瓶颈(InfoBN)原则来正则化所学先验。最终,对比学习、InfoMin与InfoBN被有机地纳入双层优化框架。我们的原则性与自动化方法已被证明在小图基准上可与包括GraphCL在内的最先进图自监督方法竞争;并在大规模图上展现出更好的泛化性,且无需借助人类专家知识或下游验证。我们的代码已公开发布于https://github.com/Shen-Lab/GraphCL_Automated。
引用
@article{arxiv.2201.01702,
title = {Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations},
author = {Yuning You and Tianlong Chen and Zhangyang Wang and Yang Shen},
journal= {arXiv preprint arXiv:2201.01702},
year = {2022}
}
备注
WSDM 2022