通过约束优化实现可控稀疏度：告别惩罚项调参，拥抱约束
机器学习
2022-11-29 v2
摘要
训练好的神经网络在严苛的剪枝水平下仍具有鲁棒的性能。结合深度学习模型不断增长的规模，这一观察推动了关于稀疏模型学习的广泛研究。在本工作中，我们关注于在执行稀疏学习时控制稀疏度水平的任务。基于稀疏诱导惩罚的现有方法涉及对惩罚因子的昂贵试错调参，因而缺乏对所得模型稀疏度的直接控制。对此，我们采用约束公式：利用 Louizos 等人 (2018) 提出的门机制，我们将稀疏化构建为一个约束优化问题，其中稀疏化以端到端方式由训练目标和期望稀疏度目标引导。在 CIFAR-{10, 100}、TinyImageNet 和 ImageNet 上使用 WideResNet 与 ResNet{18, 50} 模型的实验验证了我们方法的有效性，并表明我们能够在不影响预测性能的前提下可靠地达到预设的稀疏度目标。
引用
@article{arxiv.2208.04425,
title = {Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints},
author = {Jose Gallego-Posada and Juan Ramirez and Akram Erraqabi and Yoshua Bengio and Simon Lacoste-Julien},
journal= {arXiv preprint arXiv:2208.04425},
year = {2022}
}
备注
NeurIPS 2022 - Code available at https://github.com/gallego-posada/constrained_sparsity