DropNAS：用于可微架构搜索的分组操作丢弃
机器学习
2022-01-28 v1 计算机视觉与模式识别
摘要
神经架构搜索（NAS）在自动化架构设计上已展现出令人鼓舞的结果。近期，DARTS通过利用权重共享与SGD的可微表述放宽了搜索过程，其中所有候选操作被同时训练。我们的经验结果显示，此类过程导致了共适应问题与马太效应：参数较少的操作会更早训练成熟。这引发两个问题：其一，参数较多的操作可能永无机会表达期望函数，因为参数较少者已完成任务；其二，系统会通过降低那些表现不佳操作的架构参数来惩罚它们，使其获得更小的损失梯度，从而导致马太效应。本文系统研究这些问题，并提出一种名为DropNAS的新颖分组操作丢弃算法以修复DARTS的问题。大量实验表明DropNAS解决了上述问题并取得了有前景的性能。具体而言，DropNAS在CIFAR-10上达到2.26%测试误差，在CIFAR-100上为16.39%，在ImageNet上为23.4%（使用与DARTS相同的训练超参数以公平比较）。还观察到DropNAS在DARTS搜索空间变体上具有鲁棒性。代码见 https://github.com/wiljohnhong/DropNAS。
引用
@article{arxiv.2201.11679,
title = {DropNAS: Grouped Operation Dropout for Differentiable Architecture Search},
author = {Weijun Hong and Guilin Li and Weinan Zhang and Ruiming Tang and Yunhe Wang and Zhenguo Li and Yong Yu},
journal= {arXiv preprint arXiv:2201.11679},
year = {2022}
}