具有非零偏置的彩票票假设
机器学习
2022-06-08 v2 人工智能
摘要
强彩票票假设（strong lottery ticket hypothesis）承诺，剪枝随机初始化的深度神经网络可提供一种比基于随机梯度下降的深度学习计算效率更高的替代方案。然而，常见的参数初始化方案和存在性证明都聚焦于零偏置网络，从而放弃了剪枝潜在的通用逼近性质。为填补这一空白，我们将多种初始化方案和存在性证明推广到非零偏置，包括针对 ReLU 激活函数的显式“看似线性（looks-linear）”方法。这些方法不仅实现了真正正交的参数初始化，还减少了潜在的剪枝误差。在标准基准数据的实验中，我们进一步凸显了非零偏置初始化方案的实用益处，并给出了受理论启发的、面向最先进强彩票票剪枝的扩展。
引用
@article{arxiv.2110.11150,
title = {Lottery Tickets with Nonzero Biases},
author = {Jonas Fischer and Advait Gadhikar and Rebekka Burkholz},
journal= {arXiv preprint arXiv:2110.11150},
year = {2022}
}