图卷积与Mixup的等价性研究
机器学习
2024-09-13 v2 人工智能
摘要
本文研究了图卷积与Mixup技术之间的关系。图神经网络中的图卷积通过聚合来自邻近样本的特征，来学习特定节点或样本的代表性特征。另一方面，Mixup是一种数据增强技术，通过对多个样本的特征和one-hot标签取平均来生成新样本。这些技术的一个共同点是都利用多个样本的信息来推导特征表示。本研究旨在探索这两种方法之间是否存在联系。我们的研究表明，在两个条件之下，图卷积可被视为一种在训练和测试阶段均施加的Mixup的特殊形式。这两个条件是：1) 同质性重标注（Homophily Relabel）——将目标节点的标签赋给其所有邻居；2) 测试时Mixup（Test-Time Mixup）——在测试时对特征进行Mixup。我们通过数学方法确立了这一等价性，证明图卷积网络（GCN）和简化图卷积（SGC）可表达为Mixup的一种形式。我们还通过用这两个条件训练一个MLP以达到相当的性能，从经验上验证了该等价性。
引用
@article{arxiv.2310.00183,
title = {On the Equivalence of Graph Convolution and Mixup},
author = {Xiaotian Han and Hanqing Zeng and Yu Chen and Shaoliang Nie and Jingzhou Liu and Kanika Narang and Zahra Shakeri and Karthik Abinav Sankararaman and Song Jiang and Madian Khabsa and Qifan Wang and Xia Hu},
journal= {arXiv preprint arXiv:2310.00183},
year = {2024}
}
备注
Accepted by TMLR