对数剪枝足矣
机器学习
2020-10-27 v2 机器学习
摘要
彩票票假设是一种猜想，即每个大型神经网络都包含一个子网络，当其独立训练时，能达到与该大型网络相当的性能。最近一个更强的猜想已被证明：每个充分过参数化的网络都包含一个子网络，在随机初始化时（无需训练），即可达到与训练后的大型网络相当的准确率。然而，后一结果依赖于许多强假设，并保证大型网络规模相对于目标函数具有多项式因子。在这项工作中，我们移除了先前工作中最具限制性的假设，同时提供了显著更紧的界限：该过参数化网络仅需目标子网络每个权重对应数量为对数因子（适用于除深度外的所有变量）的神经元。
引用
@article{arxiv.2006.12156,
title = {Logarithmic Pruning is All You Need},
author = {Laurent Orseau and Marcus Hutter and Omar Rivasplata},
journal= {arXiv preprint arXiv:2006.12156},
year = {2020}
}
备注
NeurIPS 2020