$\beta$-DARTS++：面向代理鲁棒的可微架构搜索的双层正则化
机器学习
2023-01-18 v1 人工智能
摘要
神经架构搜索(NAS)近年来受到越来越多的关注。其中，以DARTS为代表的可微NAS方法因搜索效率而广受欢迎。然而，它们仍面临三个主要问题：因性能崩溃导致的弱稳定性、所搜架构较差的泛化能力，以及对不同种类代理的较弱鲁棒性。为解决稳定性与泛化问题，提出了一种简单而有效的正则化方法，称为Beta-Decay，用于正则化基于DARTS的NAS搜索过程(即-DARTS)。具体而言，Beta-Decay正则化可施加约束，使激活的架构参数的值与方差不至于过大，从而确保架构参数间的公平竞争，并使超网对输入对操作集的影响较不敏感。本文提供了关于其如何工作及为何工作的深入理论分析。综合实验验证，Beta-Decay正则化有助于稳定搜索过程，并使所搜网络在不同数据集间更具可迁移性。为解决鲁棒性问题，我们首先在广泛的代理数据、代理通道、代理层数与代理轮次下对不同NAS方法进行基准测试，因为此前尚未探索NAS在不同种类代理下的鲁棒性。我们随后总结出一些有趣发现，并发现-DARTS在几乎所有代理下均于所有对比NAS方法中取得最佳结果。我们进一步将新颖的flooding正则化引入-DARTS的权重优化(即双层正则化)，并从实验与理论上验证其提升可微NAS代理鲁棒性的有效性。
引用
@article{arxiv.2301.06393,
title = {$\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search},
author = {Peng Ye and Tong He and Baopu Li and Tao Chen and Lei Bai and Wanli Ouyang},
journal= {arXiv preprint arXiv:2301.06393},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2203.01665