让 EfficientNet 更高效：探索批无关归一化、分组卷积与降分辨率训练
机器学习
2021-08-27 v4 计算机视觉与模式识别
机器学习
摘要
近期大量研究致力于提升图像分类训练与推理的效率。这些努力通常聚焦于显式提升理论效率，常以每 FLOP 的 ImageNet 验证精度衡量。然而，这些理论上的节省在实践中难以实现，尤其在高性能训练加速器上。本工作中，我们聚焦于在新一类加速器 Graphcore IPU 上提升最先进的 EfficientNet 模型的实际效率。我们通过以下方式扩展该模型族：(i) 将深度可分离卷积推广为分组卷积；(ii) 添加代理归一化激活以用批无关统计量匹配批归一化性能；(iii) 通过降低训练分辨率并以较高分辨率低成本微调来减少计算量。我们发现这三种方法提升了训练与推理的实际效率。代码见 https://github.com/graphcore/graphcore-research/tree/main/Making_EfficientNet_More_Efficient 。
引用
@article{arxiv.2106.03640,
title = {Making EfficientNet More Efficient: Exploring Batch-Independent Normalization, Group Convolutions and Reduced Resolution Training},
author = {Dominic Masters and Antoine Labatie and Zach Eaton-Rosen and Carlo Luschi},
journal= {arXiv preprint arXiv:2106.03640},
year = {2021}
}