GraphVICRegHSIC：面向图自监督表示学习的混合损失函数改进方法
机器学习
2021-11-30 v4 人工智能
计算几何
计算机视觉与模式识别
机器学习
摘要
自监督学习与预训练策略在过去几年中尤其是针对卷积神经网络（CNNs）得到了发展。近来此类方法在图神经网络（GNNs）上的应用也可见一斑。在本文中，我们采用了一种基于图的自监督学习策略，结合不同的损失函数（Barlow Twins[Zbontar et al., 2021]、HSIC[Tsai et al., 2021]、VICReg[Bardes et al., 2021]），这些函数在先前与CNNs结合应用时已展现出有前景的结果。我们还提出了一种结合VICReg与HSIC优势的混和损失函数，称之为VICRegHSIC。上述方法的性能在应用于7个不同数据集（如MUTAG、PROTEINS、IMDB-Binary等）时进行了比较。实验表明，我们的混合损失函数在7个案例中有4个表现优于其余方法。此外，还探讨了不同批量大小、投影器维度以及数据增强策略的影响。
引用
@article{arxiv.2105.12247,
title = {GraphVICRegHSIC: Towards improved self-supervised representation learning for graphs with a hyrbid loss function},
author = {Sayan Nag},
journal= {arXiv preprint arXiv:2105.12247},
year = {2021}
}
备注
Paper Accepted in the Weakly Supervised Representation Learning Workshop, IJCAI 2021 (IJCAI2021-WSRL)