ResNet 还是 DenseNet？向 ResNet 引入密集捷径
计算机视觉与模式识别
2020-10-26 v1
摘要
ResNet 还是 DenseNet？如今，大多数基于深度学习的方法都使用开创性的骨干网络实现，其中 arguably 最著名的两个是 ResNet 和 DenseNet。尽管它们具有竞争性的性能并极其流行，但两者都存在固有缺陷。对于 ResNet，稳定训练的恒等捷径也限制了其表示能力，而 DenseNet 通过多层特征拼接具有更高的容量。然而，密集拼接导致了需要高 GPU 内存和更长训练时间的新问题。部分由于此，在 ResNet 和 DenseNet 之间做出选择并非易事。本文提供密集求和的统一视角来分析它们，这有助于更好地理解它们的核心差异。我们进一步提出密集加权归一化捷径作为它们之间两难困境的解决方案。我们提出的密集捷径继承了 ResNet 和 DenseNet 中简单设计的设计哲学。在多个基准数据集上，实验结果表明所提出的 DSNet 取得了显著优于 ResNet 的结果，并取得了与 DenseNet 相当的性能，但所需计算资源更少。
引用
@article{arxiv.2010.12496,
title = {ResNet or DenseNet? Introducing Dense Shortcuts to ResNet},
author = {Chaoning Zhang and Philipp Benz and Dawit Mureja Argaw and Seokju Lee and Junsik Kim and Francois Rameau and Jean-Charles Bazin and In So Kweon},
journal= {arXiv preprint arXiv:2010.12496},
year = {2020}
}
备注
Accepted to WACV2021 first round