通过基于扰动的正则化稳定可微架构搜索
机器学习
2021-01-19 v3 计算机视觉与模式识别
机器学习
摘要
可微架构搜索（DARTS）是一种流行的 NAS 解决方案，用于识别架构。基于架构空间的连续松弛，DARTS 学习一个可微的架构权重，并大幅降低搜索成本。然而，其稳定性受到质疑，因为在搜索进行时会产出退化的架构。我们发现，陡峭的验证损失景观导致在提炼最终架构时性能急剧下降，这是导致不稳定的一个本质因素。基于该观察，我们提出一种基于扰动的正则化——SmoothDARTS（SDARTS），以平滑损失景观并提升基于 DARTS 方法的泛化能力。具体而言，我们的新公式通过随机平滑或对抗攻击来稳定基于 DARTS 的方法。在 NAS-Bench-1Shot1 上的搜索轨迹证明了我们方法的有效性，并且由于改进的稳定性，我们在 4 个数据集上的多个搜索空间中取得了性能提升。此外，我们从数学上表明 SDARTS 隐式地正则化了验证损失的 Hessian 范数，这解释了更平滑的损失景观和改良的性能。
引用
@article{arxiv.2002.05283,
title = {Stabilizing Differentiable Architecture Search via Perturbation-based Regularization},
author = {Xiangning Chen and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:2002.05283},
year = {2021}
}
备注
ICML 2020, code is available at https://github.com/xiangning-chen/SmoothDARTS