多数激活函数无需过大深度即可赢得彩票

强彩票假设突出了通过剪枝训练深度神经网络的潜力，并启发了关于神经网络如何表示函数的有趣实用与理论见解。对于具有 ReLU 激活函数的网络，已证明深度为 $L$ 的目标网络可由随机初始化神经网络的子网络逼近，该子网络具有目标两倍深度 $2L$ 且宽度多出对数因子。我们证明深度 $L+1$ 的网络已足够。该结果表明，我们可期望在现实的、常用深度下找到彩票，同时仅需对数过参数化。我们的新颖构造方法适用于一大类激活函数，且不限于 ReLU。