神经架构搜索中的损失景观探索
机器学习
2022-04-26 v3 机器学习
摘要
神经架构搜索（NAS）在过去几年中受到极大关注。许多 NAS 算法通过在架构空间中搜索来工作：迭代地选择架构、通过训练评估其性能，并利用所有先前的评估得出下一个选择。评估步骤是有噪声的——最终精度随权重的随机初始化而波动。已有工作侧重于设计新的搜索算法来处理此噪声，而非量化或理解架构评估中的噪声水平。本工作中，我们表明（1）最简单的爬山算法是 NAS 的有力基线，（2）当流行 NAS 基准数据集中的噪声降至最低时，爬山算法优于许多流行的 SOTA 算法。我们进一步佐证该观察：随着噪声减小，局部极小数量显著减少，并给出了 NAS 中局部搜索性能的理论刻画。基于我们的发现，对于 NAS 研究我们建议（1）使用局部搜索作为基线，（2）尽可能对训练流程去噪。
引用
@article{arxiv.2005.02960,
title = {Exploring the Loss Landscape in Neural Architecture Search},
author = {Colin White and Sam Nolen and Yash Savani},
journal= {arXiv preprint arXiv:2005.02960},
year = {2022}
}