Single-DARTS：迈向稳定的架构搜索
计算机视觉与模式识别
2021-08-19 v1 机器学习
摘要
可微架构搜索（DARTS）标志着神经架构搜索（NAS）的里程碑，具有简单和搜索成本小的优点。然而，DARTS仍频繁遭受性能崩溃，这种现象发生在某些操作（如跳跃连接、零操作和池化）主导架构时。本文中，我们首次指出该现象归因于双层优化。我们提出Single-DARTS，它仅使用单层优化，用同一数据批次同时更新网络权重和架构参数。尽管单层优化此前已被尝试，但无文献对这本质要点提供系统性解释。取代双层优化后，Single-DARTS明显缓解了性能崩溃并增强了架构搜索的稳定性。实验结果表明，Single-DARTS在主流搜索空间上达到了最先进的性能。例如，在NAS-Benchmark-201上，搜索到的架构近乎最优。我们还验证了单层优化框架比双层优化框架稳定得多。我们希望这个简单而有效的方法能为可微架构搜索提供一些见解。代码见https://github.com/PencilAndBike/Single-DARTS.git。
引用
@article{arxiv.2108.08128,
title = {Single-DARTS: Towards Stable Architecture Search},
author = {Pengfei Hou and Ying Jin and Yukang Chen},
journal= {arXiv preprint arXiv:2108.08128},
year = {2021}
}
备注
Accepted by ICCV 2021 NeurArch Workshp