中文

面向稀疏图的可扩展深度生成建模

机器学习 2020-06-30 v1 机器学习

摘要

学习图生成模型是深度学习的一项具有挑战性的任务,并在化学、生物学与社会科学等一系列领域具有广泛适用性。然而当前的深度神经网络方法可扩展性有限:对于具有 nn 个节点与 mm 条边的图,现有深度神经网络方法通过构建邻接矩阵需要 Ω(n2)\Omega(n^2) 的复杂度。另一方面,许多真实世界图实际上是稀疏的,即 mn2m\ll n^2。基于此,我们开发了一种新颖的自回归模型,名为 BiGG,其利用该稀疏性避免生成完整邻接矩阵,并将图生成时间复杂度显著降低至 O((n+m)logn)O((n + m)\log n)。此外,在训练过程中该自回归模型可并行化,具有 O(logn)O(\log n) 同步阶段,这使其远比需要 Ω(n)\Omega(n) 的其他自回归模型高效。在多个基准上的实验表明,所提方法不仅可扩展到比先前深度自回归图生成模型大数个量级的图,而且产生了更好的图生成质量。

关键词

引用

@article{arxiv.2006.15502,
  title  = {Scalable Deep Generative Modeling for Sparse Graphs},
  author = {Hanjun Dai and Azade Nazi and Yujia Li and Bo Dai and Dale Schuurmans},
  journal= {arXiv preprint arXiv:2006.15502},
  year   = {2020}
}

备注

ICML 2020