邻域感知的神经架构搜索
机器学习
2021-11-01 v2 计算机视觉与模式识别
摘要
现有神经架构搜索（NAS）方法常返回搜索性能良好但在测试设定上泛化差的架构。为获得更好泛化，我们提出一种新颖的邻域感知NAS形式化方法，以在搜索空间中识别平坦极小架构，其假设为平坦极小比尖锐极小泛化更好。短语“平坦极小架构”指那些性能在架构微小扰动下（例如将卷积替换为跳跃连接）保持稳定的架构。我们的形式化通过聚合该架构邻域上的性能来考虑架构的“平坦度”。我们展示了一种将我们的形式化应用于现有搜索算法（包括基于采样的算法与基于梯度的算法）的原则性方式。为便于应用于基于梯度的算法，我们还提出了架构邻域的可微表示。基于我们的形式化，我们提出邻域感知随机搜索（NA-RS）与邻域感知可微架构搜索（NA-DARTS）。值得注意的是，仅用我们的形式化增强DARTS，NA-DARTS便优于DARTS，并在包括CIFAR-10、CIFAR-100与ImageNet在内的公认基准上达到最先进性能。
引用
@article{arxiv.2105.06369,
title = {Neighborhood-Aware Neural Architecture Search},
author = {Xiaofang Wang and Shengcao Cao and Mengtian Li and Kris M. Kitani},
journal= {arXiv preprint arXiv:2105.06369},
year = {2021}
}
备注
BMVC 2021