$\beta$-DARTS：用于可微架构搜索的 Beta 衰减正则化
机器学习
2022-03-07 v2 人工智能
摘要
神经架构搜索（NAS）因其自动设计深度神经网络的能力近年来受到越来越多的关注。其中，DARTS 等可微 NAS 方法因搜索效率而流行。然而，它们存在两个主要问题：对性能崩溃的鲁棒性弱，以及搜索得到的架构泛化能力差。为解决这两个问题，我们提出一种简单但高效的正则化方法，称为 Beta-Decay，用于正则化基于 DARTS 的 NAS 搜索过程。具体而言，Beta-Decay 正则化可施加约束，使激活的架构参数的值和方差不至于过大。此外，我们对其作用方式和原因提供了深入的理论分析。在 NAS-Bench-201 上的实验结果表明，我们提出的方法有助于稳定搜索过程，并使搜索到的网络在不同数据集间更具可迁移性。另外，我们的搜索方案展现出对训练时间和数据依赖较小的突出特性。在多种搜索空间与数据集上的综合实验验证了所提方法的有效性。
引用
@article{arxiv.2203.01665,
title = {$\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search},
author = {Peng Ye and Baopu Li and Yikang Li and Tao Chen and Jiayuan Fan and Wanli Ouyang},
journal= {arXiv preprint arXiv:2203.01665},
year = {2022}
}
备注
CVPR2022