同时学习深度神经网络的架构与特征
计算机视觉与模式识别
2019-06-12 v1 机器学习
摘要
本文提出了一种新颖的方法，能够在多个训练周期中反复同时学习滤波器数量和网络特征。我们提出了一种新颖的剪枝损失，显式地强制优化器聚焦于有潜力的候选滤波器，同时抑制相关性较低的滤波器的贡献。与此同时，我们进一步提出强制滤波器之间的多样性，这种基于多样性的正则化项改善了模型大小与准确率之间的权衡。结果表明，架构优化与特征优化之间的相互作用改进了最终的压缩模型，并且所提出的方法在模型大小和准确率方面，在包括图像分类、图像压缩和音频分类在内的广泛应用中，与现有方法相比具有优势。
引用
@article{arxiv.1906.04505,
title = {Simultaneously Learning Architectures and Features of Deep Neural Networks},
author = {Tinghuai Wang and Lixin Fan and Huiling Wang},
journal= {arXiv preprint arXiv:1906.04505},
year = {2019}
}