ICDARTS：提升循环 DARTS 的稳定性与性能
摘要
本工作对循环 DARTS（CDARTS）的稳定性和泛化能力进行了改进。CDARTS 是一种基于可微架构搜索（DARTS）的神经架构搜索（NAS）方法，利用循环反馈机制同时训练搜索网络与评估网络。该训练协议旨在通过强制搜索与评估网络产生相似输出来优化搜索过程。然而，CDARTS 为评估网络引入了依赖于搜索网络的损失函数。评估网络在搜索阶段与重训练阶段所用损失函数之间的差异，导致搜索阶段评估网络作为最终重训练所用评估网络的代理是次优的。我们提出 ICDARTS，一种消除评估网络权重对搜索网络权重依赖的改进方法，并配以修改后的搜索网络 \textit{zero} 操作离散化过程，使这些操作可保留在最终评估网络中。我们将这些改动的结果与针对 ICDARTS 算法及网络模板的消融研究相结合。最后，我们探索了通过扩展操作集与探索离散化连续搜索单元的可选方法来扩展 ICDARTS 搜索空间。这些实验得到了泛化能力更强的网络，并实现了一种将动态搜索空间引入 ICDARTS 的新方法。
引用
@article{arxiv.2309.00664,
title = {ICDARTS: Improving the Stability and Performance of Cyclic DARTS},
author = {Emily Herron and Derek Rose and Steven Young},
journal= {arXiv preprint arXiv:2309.00664},
year = {2023}
}
备注
NOTE: This is an expanded version of a previously published conference paper. This paper includes an expanded study of the importance of each algorithm change, an ablation study of the importance of each layer choice, a study of the effect of different layer choices, and a study of performing ICDARTS NAS on a dynamic search space