基于循环参数生成器的紧凑最优深度学习
计算机视觉与模式识别
2022-10-28 v3 机器学习
摘要
深度学习通过训练日益增大的模型取得了巨大成功，这些模型随后被压缩以实际部署。我们提出一种截然不同的紧凑最优深度学习方法：解耦模型的自由度（DoF）与实际参数量，在单阶段端到端学习中，以预定义随机线性约束优化具有任意架构的大模型的小自由度。具体而言，我们创建循环参数生成器（RPG），其从环中重复获取参数，并以随机置换与符号翻转将其解包至大模型上，以促进参数去相关。我们表明梯度下降可自动在约束下找到最佳模型且收敛更快。我们广泛的实验揭示了模型自由度与精度间的对数线性关系。我们的RPG展现出显著的自由度缩减，并可被进一步剪枝与量化以获得额外运行时性能增益。例如，在ImageNet的top-1精度上，RPG以仅自由度（相当于一个卷积层）达到ResNet18性能的，并以仅自由度达到ResNet34性能的！我们的工作展示了约束神经优化在紧凑最优深度学习中的显著潜力。
引用
@article{arxiv.2107.07110,
title = {Compact and Optimal Deep Learning with Recurrent Parameter Generators},
author = {Jiayun Wang and Yubei Chen and Stella X. Yu and Brian Cheung and Yann LeCun},
journal= {arXiv preprint arXiv:2107.07110},
year = {2022}
}