卷积网络中是否需要全连接输出层？
计算机视觉与模式识别
2020-04-30 v2 机器学习
图像与视频处理
机器学习
摘要
传统上，深度卷积神经网络由一系列卷积层和池化层组成，其后接一个或多个全连接（FC）层以执行最终分类。尽管这种设计取得了成功，但对于具有大量类别的数据集，全连接层通常占网络参数的很大比例。对于内存受限的应用，如移动设备和嵌入式平台，这并不理想。最近，一类用固定层替换学到的全连接输出层的架构被提出，作为实现更高效率的途径。在本文中，我们进一步考察这一想法，并证明固定分类器相比直接移除输出层及其参数并无额外益处。我们进一步证明，具有全连接最终输出层的典型做法在参数数量上效率低下。我们能够在 ImageNet-1K、CIFAR-100、Stanford Cars-196 和 Oxford Flowers-102 数据集上取得与传统学到的全连接分类输出层相当的性能，而完全不使用全连接输出层。
引用
@article{arxiv.2004.13587,
title = {Do We Need Fully Connected Output Layers in Convolutional Networks?},
author = {Zhongchao Qian and Tyler L. Hayes and Kushal Kafle and Christopher Kanan},
journal= {arXiv preprint arXiv:2004.13587},
year = {2020}
}