论通用彩票票的存在性
机器学习
2022-03-17 v2 人工智能
机器学习
摘要
彩票票假设推测存在大型随机初始化深度神经网络中的稀疏子网络，其可独立地成功训练。近期工作通过实验观察到其中部分票可实际跨多种任务复用，暗示了某种形式的通用性。我们形式化了该概念并从理论上证明，此类通用票不仅存在，而且无需进一步训练。我们的证明引入了与强彩票票剪枝相关的若干技术创新，包括子集和结果的扩展以及利用更深层次数量的策略。我们所给出的通用函数族的显式稀疏构造可能具有独立意义，因其凸显了由单变量卷积架构引发的表示优势。
引用
@article{arxiv.2111.11146,
title = {On the Existence of Universal Lottery Tickets},
author = {Rebekka Burkholz and Nilanjana Laha and Rajarshi Mukherjee and Alkis Gotovos},
journal= {arXiv preprint arXiv:2111.11146},
year = {2022}
}
备注
Accepted for publication at The Tenth International Conference on Learning Representations (ICLR 2022)