中文

AnchorGAE:基于 $O(n)$ 二部图卷积的通用数据聚类

机器学习 2022-12-22 v2

摘要

由于基于图的聚类方法的表征能力通常受限于在原始特征上所构建的图,探究图神经网络(GNNs)能否用于增强该能力颇具吸引力。核心问题主要源于两方面:(1)在大多数聚类场景中图并不可用,因此在非图数据上如何构建高质量图通常是最关键的部分;(2)给定 n 个样本,基于图的聚类方法通常需耗费至少 O(n2)\mathcal O(n^2) 时间来建图,且图卷积在稠密图上需近 O(n2)\mathcal O(n^2)、在含 E|\mathcal{E}| 条边的稀疏图上需 O(E)\mathcal O(|\mathcal{E}|)。相应地,基于图的聚类与 GNNs 均深受严重低效问题困扰。为应对这些问题,我们提出一种新颖的聚类方法 AnchorGAE,具备图的自监督估计与高效图卷积。我们首先展示如何通过引入生成图模型与锚点将非图数据集转换为图数据集。接着我们展示所构建的二部图可将图卷积的计算复杂度从 O(n2)\mathcal O(n^2)O(E)\mathcal O(|\mathcal{E}|) 降至 O(n)\mathcal O(n)。后续的聚类步骤可轻易设计为 O(n)\mathcal O(n) 操作。有趣的是,锚点在马尔可夫过程的辅助下自然导出孪生架构。此外,所估计的二部图依据 GNN 提取的特征动态更新,以提升图的质量。然而,我们从理论上证明自监督范式频繁导致坍缩,实验中常发生于 2-3 次更新迭代后,尤其当模型训练良好时。据此设计了特定策略以防止坍缩。

关键词

引用

@article{arxiv.2111.06586,
  title  = {AnchorGAE: General Data Clustering via $O(n)$ Bipartite Graph Convolution},
  author = {Hongyuan Zhang and Jiankun Shi and Rui Zhang and Xuelong Li},
  journal= {arXiv preprint arXiv:2111.06586},
  year   = {2022}
}

备注

copyright 2022 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works