卷积神经网络感受野精化可靠地提升预测性能
计算机视觉与模式识别
2022-11-29 v1 人工智能
机器学习
摘要
对神经架构的微小改动（例如在关键层中更改单个超参数）即可在卷积神经网络(CNNs)中带来预测性能的显著提升。本工作中，我们提出了一种感受野分析新方法，其可在我们实验所考察的二十种知名CNN架构中带来此类理论与经验性能增益。通过进一步发展与形式化卷积神经网络中感受野扩展的分析，我们能在训练模型之前以自动化方式预测无益层。这使我们能以低成本优化给定架构的参数效率。我们的方法计算简单，可自动化完成，或甚至对大多数常见架构以最小努力手动完成。我们通过提升过去与当前顶尖CNN架构的参数效率证明了该方法的有效性。具体而言，我们的方法能够改进包括VGG Nets、MobileNetV1、MobileNetV3、NASNet A (mobile)、MnasNet、EfficientNet与ConvNeXt在内的广泛知名、最先进(SOTA)模型类的ImageNet1K性能——为每个模型类带来新的SOTA结果。
引用
@article{arxiv.2211.14487,
title = {Receptive Field Refinement for Convolutional Neural Networks Reliably Improves Predictive Performance},
author = {Mats L. Richter and Christopher Pal},
journal= {arXiv preprint arXiv:2211.14487},
year = {2022}
}