重新思考可微 NAS 中的架构选择
机器学习
2021-08-11 v1 计算机视觉与模式识别
摘要
可微神经架构搜索因其搜索效率和简单性而成为最流行的神经架构搜索（NAS）方法之一，该方法通过基于梯度的算法在权重共享超网络中联合优化模型权重和架构参数来实现。在搜索阶段结束时，将选择具有最大架构参数的操作来构成最终架构，其隐含假设是架构参数的值反映了操作的强度。尽管关于超网络优化的讨论已有很多，但架构选择过程却鲜少受到关注。我们提供了经验和理论分析，表明架构参数的量级并不一定表明操作对超网络性能的贡献程度。我们提出了一种基于扰动的替代架构选择方法，直接衡量每个操作对超网络的影响。我们使用所提出的架构选择方法重新评估了几种可微 NAS 方法，发现它能够一致地从底层超网络中提取出显著改善的架构。此外，我们发现 DARTS 的几种失败模式可以通过所提出的选择方法得到极大缓解，这表明在 DARTS 中观察到的许多泛化性差的问题可归因于基于量级的架构选择的失败，而非完全归咎于其超网络的优化。
引用
@article{arxiv.2108.04392,
title = {Rethinking Architecture Selection in Differentiable NAS},
author = {Ruochen Wang and Minhao Cheng and Xiangning Chen and Xiaocheng Tang and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:2108.04392},
year = {2021}
}
备注
Outstanding Paper Award at ICLR 2021. The code is available at https://github.com/ruocwang/darts-pt