FlipOut：通过符号翻转揭示冗余权重
机器学习
2020-09-08 v1 机器学习
摘要
现代神经网络尽管在许多任务上取得了最先进的结果，但往往具有大量参数，这增加了训练时间与资源消耗。该问题可通过剪枝缓解。然而，现有方法常需大量参数调优或多轮剪枝与重训练至收敛，方能获得理想的准确性-稀疏度权衡。为解决这些问题，我们提出一种新颖的剪枝方法，利用权重在训练期间围绕 （即符号翻转）的振荡来确定其显著性。我们的方法可在网络收敛前执行剪枝，因其超参数具有良好默认值而仅需极少调优工作，且能直接针对用户所期望的稀疏度水平。我们在多种目标分类架构上的实验表明，该方法与现有方法具有竞争力，并对所测试的大多数架构在 及以上稀疏度水平下取得了最先进性能。为可复现性，我们在 https://github.com/AndreiXYZ/flipout 公开发布代码。
引用
@article{arxiv.2009.02594,
title = {FlipOut: Uncovering Redundant Weights via Sign Flipping},
author = {Andrei Apostol and Maarten Stol and Patrick Forré},
journal= {arXiv preprint arXiv:2009.02594},
year = {2020}
}