深度卷积网络真的需要既深又卷积吗？
机器学习
2017-03-07 v4 机器学习
摘要
是的，它们需要。本文提供了首个经验证明：深度卷积模型确实既需要深度又需要卷积，即使使用诸如蒸馏等允许训练出高精度小模型或浅模型的方法时也是如此。尽管先前研究表明浅层前馈网络有时能利用与其所模仿的深度模型相同数量的参数，学习到深度网络先前学到的复杂函数，但本文中我们证明，同样的方法无法用于在CIFAR-10上训练准确模型，除非学生模型包含多层卷积。尽管学生模型不必像其所模仿的教师模型那样深，但学生需要多层卷积层来学习与深度卷积教师模型精度相当的函数。
引用
@article{arxiv.1603.05691,
title = {Do Deep Convolutional Nets Really Need to be Deep and Convolutional?},
author = {Gregor Urban and Krzysztof J. Geras and Samira Ebrahimi Kahou and Ozlem Aslan and Shengjie Wang and Rich Caruana and Abdelrahman Mohamed and Matthai Philipose and Matt Richardson},
journal= {arXiv preprint arXiv:1603.05691},
year = {2017}
}