中文

基于剪枝元素的对抗擦除:迈向更优的图彩票票

机器学习 2023-08-14 v2 人工智能

摘要

图彩票票(GLT)作为核心子图与稀疏子网络的组合,被提出用于降低深度图神经网络(GNN)在大型输入图上的计算成本,同时保持原有性能。然而,现有研究中获胜的 GLT 是通过应用基于幅度的迭代剪枝(IMP)获得的,而未对剪枝信息进行重新评估和重新考量,这忽视了图/模型结构剪枝过程中边/权重重要性的动态变化,从而限制了获胜彩票票的吸引力。在本文中,我们提出一个猜想,即被剪枝的图连接和模型参数中存在现有方法忽略的有价值信息,可将其重新组合进 GLT 以提升最终性能。具体而言,我们提出一种对抗互补擦除(ACE)框架,从剪枝组件中挖掘有价值信息,从而开发出更强大的 GLT,称为 ACE-GLT。其主要思想是在每轮 IMP 后从剪枝的边/权重中挖掘有价值信息,并采用 ACE 技术精炼 GLT 处理过程。最后,实验结果表明,我们的 ACE-GLT 在多种任务中优于现有的 GLT 搜索方法。我们的代码将公开可用。

关键词

引用

@article{arxiv.2308.02916,
  title  = {Adversarial Erasing with Pruned Elements: Towards Better Graph Lottery Ticket},
  author = {Yuwen Wang and Shunyu Liu and Kaixuan Chen and Tongtian Zhu and Ji Qiao and Mengjie Shi and Yuanyu Wan and Mingli Song},
  journal= {arXiv preprint arXiv:2308.02916},
  year   = {2023}
}

备注

17 pages, 10 figures, Accept by ECAI2023