BN-NAS：基于批归一化的神经架构搜索
计算机视觉与模式识别
2021-08-18 v1
摘要
我们提出 BN-NAS，即基于批归一化（Batch Normalization）的神经架构搜索（BN-NAS），以加速神经架构搜索（NAS）。BN-NAS 能显著减少 NAS 中模型训练与评估所需的时间。具体而言，为实现快速评估，我们提出了一种基于 BN 的指标，用于在极早训练阶段预测子网络性能。该基于 BN 的指标进一步使我们能够通过仅在超网训练期间训练 BN 参数来提高训练效率。这基于我们的观察：训练整个超网并非必要，而仅训练 BN 参数可加速网络收敛以进行网络架构搜索。大量实验表明，我们的方法可在不损失精度的情况下，将超网训练时间缩短 10 倍以上，并将子网络评估时间缩短 600,000 倍以上。
引用
@article{arxiv.2108.07375,
title = {BN-NAS: Neural Architecture Search with Batch Normalization},
author = {Boyu Chen and Peixia Li and Baopu Li and Chen Lin and Chuming Li and Ming Sun and Junjie Yan and Wanli Ouyang},
journal= {arXiv preprint arXiv:2108.07375},
year = {2021}
}
备注
ICCV 2021