贪婪网络扩充
计算机视觉与模式识别
2021-11-29 v3 人工智能
摘要
近期关于深度卷积神经网络的研究提出了一种简单的架构设计范式，即具有更多 MACs 的模型通常能获得更好的准确率，例如 EfficientNet 和 RegNet。这些工作试图通过采样和统计方法以统一规则扩充模型中的所有阶段。然而，我们观察到一些网络架构具有相似的 MACs 和准确率，但它们在不同阶段上的计算分配却大不相同。本文中，我们提出通过在阶段层面上提升 CNN 模型的宽度、深度和分辨率来扩充其容量。在假设性能最优的较小 CNN 是性能最优的较大 CNN 的适当子组件的前提下，我们提出了一种基于计算重分配的贪婪网络扩充方法。通过逐步修改不同阶段的算力，扩充后的网络将具备最优的 MACs 分配与利用。在 EfficientNet 上，我们的方法始终优于原始缩放方法的性能。特别地，将我们的方法应用于 GhostNet 时，我们在 600M 和 4.4B MACs 的设置下分别取得了 80.9% 和 84.3% 的 ImageNet top-1 准确率，达到了最先进水平。
引用
@article{arxiv.2108.00177,
title = {Greedy Network Enlarging},
author = {Chuanjian Liu and Kai Han and An Xiao and Yiping Deng and Wei Zhang and Chunjing Xu and Yunhe Wang},
journal= {arXiv preprint arXiv:2108.00177},
year = {2021}
}