深度锚定卷积神经网络
计算机视觉与模式识别
2019-04-23 v1 机器学习
摘要
卷积神经网络 (CNNs) 已被证明在解决计算机视觉任务方面极为成功。最先进的方法青睐此类深度网络架构以追求准确率性能,其代价是拥有海量参数数目与高权重冗余。先前的工作研究了如何剪枝此类 CNN 权重。在本文中,我们走向另一极端,分析了由跨层单一卷积核堆叠而成的网络以及其他权重共享技术的性能。我们将其命名为深度锚定卷积神经网络 (DACNN)。跨层共享相同核权重使得模型大小大幅缩减,更确切地说,网络在内存中被压缩了 L 倍,其中 L 为网络的期望深度,全连接预测层不计在内。DACNN 中的参数数量几乎不随网络加深而增加,这使得我们能够构建深层 DACNN 而无需担忧内存开销。我们还引入了部分共享权重网络 (DACNN-mix) 以及一个易于插入的模块(称为 regulators)来提升我们架构的性能。我们在 3 个数据集上验证了我们的想法:CIFAR-10、CIFAR-100 和 SVHN。我们的结果表明,我们的模型可在保持高准确率性能的同时节省大量内存。
关键词
引用
@article{arxiv.1904.09764,
title = {Deep Anchored Convolutional Neural Networks},
author = {Jiahui Huang and Kshitij Dwivedi and Gemma Roig},
journal= {arXiv preprint arXiv:1904.09764},
year = {2019}
}
备注
This paper is accepted to 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)