LilNetX：具有极致模型压缩与结构化稀疏化的轻量级网络
计算机视觉与模式识别
2022-04-07 v1 机器学习
摘要
我们介绍了 LilNetX，一种端到端可训练的神经网络技术，能够学习具有指定准确率-速率-计算权衡的模型。先前的工作逐一处理这些问题，且常需要后处理或多阶段训练，这在大型数据集或架构上变得不太实用且扩展性较差。我们的方法构建了一个联合训练目标，该目标在重参数化潜在空间中对网络参数的自信息施加惩罚以鼓励小模型尺寸，同时引入先验以增加参数空间中的结构化稀疏性从而降低计算量。与现有最先进模型压缩方法相比，我们在 ResNet-20 上实现了高达 50% 更小的模型尺寸和 98% 的模型稀疏性，同时在 CIFAR-10 数据集上保持相同准确率，以及在 ImageNet 上训练的 ResNet-50 上实现 35% 更小的模型尺寸和 42% 的结构化稀疏性。代码可在 https://github.com/Sharath-girish/LilNetX 获取。
引用
@article{arxiv.2204.02965,
title = {LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification},
author = {Sharath Girish and Kamal Gupta and Saurabh Singh and Abhinav Shrivastava},
journal= {arXiv preprint arXiv:2204.02965},
year = {2022}
}