图上无监督对抗鲁棒表示学习
机器学习
2021-05-31 v2 人工智能
摘要
用于图表示学习的无监督/自监督预训练方法近来引起了越来越多的研究兴趣，并被证明能够泛化到各种下游应用。然而，此类预训练图学习模型的对抗鲁棒性在很大程度上仍未被探索。更重要的是，大多数现有的为端到端图表示学习方法设计的防御技术需要预先指定的标签定义，因此无法直接应用于预训练方法。在本文中，我们提出了一种无监督防御技术来使预训练的深度图模型具备鲁棒性，从而在对不同下游任务应用模型之前，能够成功识别并阻断输入图上的扰动。具体而言，我们引入了一种基于互信息的度量，即图表示脆弱性（graph representation vulnerability, GRV），以量化图编码器在表示空间上的鲁棒性。随后我们构建一个优化问题，通过仔细平衡图编码器的表达能力与鲁棒性（即 GRV）之间的权衡来学习图表示。图拓扑的离散性质与图数据的联合空间使得该优化问题难以求解。为处理上述困难并降低计算开销，我们进一步松弛该问题从而提供近似解。此外，我们探索了无监督图编码器的鲁棒性与下游任务模型鲁棒性之间可证明的联系。大量实验表明，即使在无法访问标签和任务的情况下，与现有方法相比，我们的模型仍能将针对三个下游任务（节点分类、链接预测和社区检测）的对抗攻击的鲁棒性平均提升 +16.5%。
引用
@article{arxiv.2012.02486,
title = {Unsupervised Adversarially-Robust Representation Learning on Graphs},
author = {Jiarong Xu and Yang Yang and Junru Chen and Chunping Wang and Xin Jiang and Jiangang Lu and Yizhou Sun},
journal= {arXiv preprint arXiv:2012.02486},
year = {2021}
}