彩票英雄的崛起：为何零样本剪枝是困难的
机器学习
2022-12-29 v2 人工智能
摘要
深度学习的优化近期进展表明，仅参数子集就足以成功训练模型。此类发现潜在地在从理论到应用上具有广泛影响；然而，已知寻找这些可训练子网络通常是一个代价高昂的过程。这阻碍了实际应用：深度学习模型中学习到的子图结构能否在训练时被发现？在这项工作中，我们探索这种可能性，观察并阐释为何常见方法在感兴趣的极端场景下通常失败，并提出一种潜在能够实现以降低计算代价进行训练的方法。在具有挑战性的架构与数据集上的实验表明了这种方法相对于此类计算增益的算法可及性，并且特别地，浮现出所达精度与所部署训练复杂度之间的权衡。
引用
@article{arxiv.2202.12400,
title = {The rise of the lottery heroes: why zero-shot pruning is hard},
author = {Enzo Tartaglione},
journal= {arXiv preprint arXiv:2202.12400},
year = {2022}
}