当残差学习遇到密集聚合：重新思考深度神经网络的聚合
计算机视觉与模式识别
2020-04-27 v2
摘要
已经提出了各种架构（如GoogLeNet、ResNet和DenseNet）。然而，现有网络通常存在卷积层冗余或参数利用不足的问题。为了解决这些具有挑战性的问题，我们提出了Micro-Dense Nets，一种具有全局残差学习和局部微密集聚合的新型架构。具体来说，残差学习旨在高效地从不同卷积块中检索特征，而微密集聚合能够增强每个块并通过减少残差聚合来避免卷积层冗余。此外，所提出的微密集架构有两个特点：金字塔式多级特征学习，可以逐步加宽块中的更深层；以及维度基数自适应卷积，可以使用线性增加的维度基数来平衡每一层。在三个数据集（即CIFAR-10、CIFAR-100和ImageNet-1K）上的实验结果表明，所提出的Micro-Dense Net仅用4M参数就能达到比最先进网络更高的分类精度，同时参数数量小12.1倍。此外，我们的微密集块可以与基于神经架构搜索的模型集成以提升其性能，验证了我们架构的优势。我们相信我们的设计和发现将对DNN社区有益。
引用
@article{arxiv.2004.08796,
title = {When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks},
author = {Zhiyu Zhu and Zhen-Peng Bian and Junhui Hou and Yi Wang and Lap-Pui Chau},
journal= {arXiv preprint arXiv:2004.08796},
year = {2020}
}