异质性假设：寻找逐层差异化的网络架构
计算机视觉与模式识别
2021-05-25 v2
摘要
本文中，我们解决卷积神经网络设计问题。不同于关注整体架构设计，我们研究一个通常被忽视的设计空间，即调整预定义网络的通道配置。我们发现该调整可通过收缩加宽后的基线网络实现，并带来更优性能。基于此，我们阐明异质性假设：在相同训练协议下，存在一种逐层差异化网络架构（LW-DNA），能以更低模型复杂度超越具有规则通道配置的原始网络。与原网络相比，LW-DNA 模型的识别无需额外计算成本或训练时间。该约束导向受控实验，将焦点指向逐层特定通道配置的重要性。LW-DNA 模型具有与过拟合相关的优势，即模型复杂度与数据集规模间的相对关系。实验在多种网络与数据集上针对图像分类、视觉跟踪与图像复原展开。所得 LW-DNA 模型一致优于基线模型。代码见 https://github.com/ofsoundof/Heterogeneity_Hypothesis。
引用
@article{arxiv.2006.16242,
title = {The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures},
author = {Yawei Li and Wen Li and Martin Danelljan and Kai Zhang and Shuhang Gu and Luc Van Gool and Radu Timofte},
journal= {arXiv preprint arXiv:2006.16242},
year = {2021}
}
备注
CVPR2021 paper