演化归一化-激活层
机器学习
2020-07-20 v5 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
归一化层和激活函数是深度网络的基本组成部分，通常彼此相邻放置。本文提出使用自动化方法来设计它们。我们不是分别设计它们，而是将其统一为单一的张量到张量计算图，并从基础数学函数出发演化其结构。此类数学函数的例子包括加法、乘法和统计矩。与主流神经架构搜索（NAS）中使用高层模块不同，使用低层数学函数导致了一个高度稀疏且庞大的搜索空间，这对搜索方法而言具有挑战性。为应对该挑战，我们开发了高效的拒绝协议，以快速过滤掉表现不佳的候选层。我们还使用多目标演化来优化每层在多种架构上的性能，以防止过拟合。我们的方法发现了 EvoNorms——一组具有新颖且有时令人惊讶的结构的新型归一化-激活层，其超越了现有的设计模式。例如，某些 EvoNorms 并不假定归一化和激活函数必须顺序应用，也不需要对特征图中心化，也不要求显式激活函数。我们的实验表明，EvoNorms 在包括 ResNets、MobileNets 和 EfficientNets 的图像分类模型中表现良好，并且能很好地迁移到用于实例分割的带 FPN/SpineNet 的 Mask R-CNN 以及用于图像合成的 BigGAN，在许多情况下优于基于 BatchNorm 和 GroupNorm 的层。
引用
@article{arxiv.2004.02967,
title = {Evolving Normalization-Activation Layers},
author = {Hanxiao Liu and Andrew Brock and Karen Simonyan and Quoc V. Le},
journal= {arXiv preprint arXiv:2004.02967},
year = {2020}
}