具有强彩票票假设的多层涂覆与折叠图神经网络
机器学习
2023-12-07 v1 人工智能
机器学习
摘要
强彩票票假设（SLTH）证明了在随机初始化的模型中存在高性能子网络，这些子网络可以通过在不进行任何权重训练的情况下剪枝卷积神经网络（CNN）来发现。最近一项名为未训练 GNN 票（UGT）的研究将 SLTH 从 CNN 扩展到了浅层图神经网络（GNN）。然而，当与具有已学习密集权重的基线模型进行比较时，仍然存在差异。此外，将 SLTH 应用于更深层 GNN 的领域仍未被探索，尽管更深的 GNN 通过增加层数提供了更高的准确率，但会遭受过高的内存需求。为了解决这些挑战，本工作利用了一种标量剪枝掩码方法——多层涂覆超级掩码（M-Sup），并通过提出一种自适应设置其剪枝阈值的策略将其应用于 GNN。在深层 GNN 的背景下，本研究揭示了未训练循环网络的存在，其性能可与经过训练的前馈网络相媲美。本文还引入了多阶段折叠和非共享掩码方法，以在架构和参数方面扩展搜索空间。通过对包括开放图基准（OGB）在内的各种数据集进行评估，本工作为基于 SLTH 的 GNN 建立了一个三赢局面：通过实现高稀疏性、有竞争力的性能以及高达 98.7% 的内存减少，证明了其适用于节能图处理。
引用
@article{arxiv.2312.03236,
title = {Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets},
author = {Jiale Yan and Hiroaki Ito and Ángel López García-Arias and Yasuyuki Okoshi and Hikari Otsuka and Kazushi Kawamura and Thiem Van Chu and Masato Motomura},
journal= {arXiv preprint arXiv:2312.03236},
year = {2023}
}
备注
9 pages, accepted in the Second Learning on Graphs Conference (LoG 2023)