证明等变强彩票假设的一般框架
机器学习
2023-02-17 v2
摘要
强彩票假设(SLTH)规定，在充分过参数化（稠密）神经网络中存在一个子网络——其在随机初始化且未经任何训练时——能达到全训练目标网络的精度。Da Cunha 等人 2022 与 Burkholz 2022 近期的工作表明，SLTH 可扩展至平移等变网络（即 CNN），其所需过参数化水平与稠密网络中 SLTH 所需相同。然而，现代神经网络能够融入不止平移对称性，且发展如旋转与置换等一般等变架构已成为一种强有力的设计原则。在本文中，我们将 SLTH 推广至保持群 G 作用的函数（即 G-等变网络），并证明以高概率可用一个随机初始化的过参数化 G-等变网络剪枝为一个 G-等变子网络来逼近任意固定宽度与深度的 G-等变网络。我们进一步证明我们所规定的过参数化方案是最优的，并给出了作为误差容限函数有效参数个数的下界。我们针对一大类群发展理论，包括欧氏群 \text{E}(2) 的子群与对称群 G \leq \mathcal{S}_n——使得我们能为 MLP、CNN、\text{E}(2)-可转向 CNN 与置换等变网络找到 SLTH 作为我们统一框架的具体实例。在实验上，我们通过剪枝过参数化的 \text{E}(2)-可转向 CNN、k-阶 GNN 与消息传递 GNN 以匹配训练目标网络的性能来验证我们的理论。
引用
@article{arxiv.2206.04270,
title = {A General Framework For Proving The Equivariant Strong Lottery Ticket Hypothesis},
author = {Damien Ferbach and Christos Tsirigotis and Gauthier Gidel and Avishek and Bose},
journal= {arXiv preprint arXiv:2206.04270},
year = {2023}
}
备注
ICLR 2023