COSTA：面向图对比学习的协方差保持特征增强
机器学习
2022-06-14 v2 人工智能
摘要
图对比学习（GCL）改进了图表示学习，在各种下游任务上取得 SOTA。图增强步骤是 GCL 中重要但极少被研究的步骤。本文中，我们表明通过图增强获得的节点嵌入存在高度偏差，在一定程度上限制了对比模型为下游任务学习判别性特征。因此，不同于在输入空间研究图增强，我们转而提出在隐特征上执行增强（特征增强）。受所谓矩阵草图（matrix sketching）启发，我们提出 COSTA，一种用于 GCL 的新型协方差保持特征空间增强（COvariance-preServing feaTure space Augmentation）框架，其通过维持原始特征的“良好草图”来生成增强特征。为凸显 COSTA 特征增强的优越性，我们考察了单视图设置（除多视图外）以节省内存与计算。我们表明，COSTA 的特征增强取得了与基于图增强的模型相当或更好的结果。
引用
@article{arxiv.2206.04726,
title = {COSTA: Covariance-Preserving Feature Augmentation for Graph Contrastive Learning},
author = {Yifei Zhang and Hao Zhu and Zixing Song and Piotr Koniusz and Irwin King},
journal= {arXiv preprint arXiv:2206.04726},
year = {2022}
}
备注
This paper is accepted by the ACM KDD 2022