iDARTS：通过节点归一化和去相关离散化改进 DARTS
计算机视觉与模式识别
2021-08-26 v1
摘要
可微架构搜索 (DARTS) 使用网络表示的连续松弛，将神经架构搜索 (NAS) 在 GPU 计算时间上加速了近千倍。然而，DARTS 的搜索过程不稳定，当训练轮次变大时性能会严重退化，从而限制了其应用。在本文中，我们声称这种退化问题是由不同节点间范数不平衡以及各种操作输出高度相关引起的。我们随后提出了 DARTS 的改进版本，即 iDARTS，来解决这两个问题。在训练阶段，它引入节点归一化以维持范数平衡。在离散化阶段，连续架构基于节点输出去相关化操作之间的相似性而非架构参数的值进行近似。我们在 CIFAR-10 和 ImageNet 上进行了广泛评估，在架构搜索上分别仅用 0.2 和 1.9 GPU 天就报告了 2.25% 和 24.7% 的错误率，这显示了其有效性。额外分析还表明，iDARTS 在鲁棒性和泛化能力上优于其他基于 DARTS 的对应方法。
引用
@article{arxiv.2108.11014,
title = {iDARTS: Improving DARTS by Node Normalization and Decorrelation Discretization},
author = {Huiqun Wang and Ruijie Yang and Di Huang and Yunhong Wang},
journal= {arXiv preprint arXiv:2108.11014},
year = {2021}
}