超图对比学习中的增强：构造式与生成式
机器学习
2022-10-11 v1 人工智能
摘要
本文旨在通过应用图像/图上的对比学习方法（称之为 HyperGCL）来提升超图神经网络在低标签率下的泛化能力。我们关注以下问题：如何通过增强为超图构建对比视图？我们从两方面给出解决方案。首先，在领域知识指导下，我们构造了两种编码高阶关系的超边增强方案，并采用三种来自图结构数据的顶点增强策略。其次，为以数据驱动方式寻找更有效的视图，我们首次提出一种超图生成模型来生成增强视图，并构建端到端可微流水线以联合学习超图增强与模型参数。我们的技术创新体现在设计超图的构造式与生成式增强两方面。实验发现包括：（i）在 HyperGCL 的构造式增强中，增强超边带来最大的数值增益，意味着结构中的高阶信息通常与下游更相关；（ii）生成式增强在保留高阶信息以进一步惠及泛化能力方面表现更好；（iii）HyperGCL 还提升了超图表示学习的鲁棒性与公平性。代码发布于 https://github.com/weitianxin/HyperGCL。
引用
@article{arxiv.2210.03801,
title = {Augmentations in Hypergraph Contrastive Learning: Fabricated and Generative},
author = {Tianxin Wei and Yuning You and Tianlong Chen and Yang Shen and Jingrui He and Zhangyang Wang},
journal= {arXiv preprint arXiv:2210.03801},
year = {2022}
}
备注
NeurIPS 2022. Supplementary materials are available at https://weitianxin.github.io/files/neurips22_hypergcl_appendix.pdf