卷积网络与残差网络可证明地包含彩票票
机器学习
2022-05-06 v1 人工智能
摘要
彩票票假设对寻找小规模深度神经网络以竞争性性能解决现代深度学习任务的探索持续产生深远的实际影响。这些彩票票通过对大型随机初始化神经网络进行剪枝来识别，其架构与应用一样多样。然而，证实其存在的理论见解主要集中于具有ReLU激活函数的深度全连接前馈网络。我们证明，由卷积层和残差层构成、可配备几乎任意激活函数的现代架构同样可以以高概率包含彩票票。
引用
@article{arxiv.2205.02343,
title = {Convolutional and Residual Networks Provably Contain Lottery Tickets},
author = {Rebekka Burkholz},
journal= {arXiv preprint arXiv:2205.02343},
year = {2022}
}