神经架构精炼：一种避免 NAS 过拟合的实用方法

神经架构搜索 (NAS) 旨在自动化架构设计过程，引起了学术界与工业界的极大兴趣。然而，由于由每层算子选择与跳跃连接构成的高维搜索空间，NAS 面临过拟合问题。本文基于强化学习框架的 NAS 深入探究架构过拟合问题。我们展示了策略梯度方法与交叉熵最小化具有深层关联。基于此关联，我们进一步证明：尽管 NAS 的奖励稀疏，策略梯度方法仍依据采样频率将奖励隐式分配给所有算子与跳跃连接。然而，由于奖励估计不准、维度灾难问题以及神经网络的层次化结构，算子与跳跃连接的奖励特征存在本质差异，分配给跳跃连接的奖励极其嘈杂且不精确。为缓解该问题，我们提出了一种神经架构精炼方法，该方法从一个初始的先进网络结构出发，仅精炼其算子。大量实验表明所提方法可取得令人瞩目的结果，包括分类、人脸识别等。