ROME:通过拓扑解耦与梯度累积鲁棒化内存高效神经架构搜索
机器学习
2023-08-04 v2 人工智能
计算机视觉与模式识别
摘要
尽管可微架构搜索(DARTS)是一种流行的架构搜索方法,但由于整个超网驻留于内存中,其内存开销巨大,这严重阻碍了它。单路径DARTS由此应运而生,它在每一步仅选择一条单路径子模型。在内存友好之余,它也具有较低的计算成本。然而,我们发现单路径DARTS存在一个未被主要注意的关键问题:它同样遭受严重的性能崩溃,因为像跳跃连接这样过多的无参数操作被导出,正如DARTS那样。本文提出一种称为鲁棒化内存高效NAS(ROME)的新算法以对此施治。首先,我们将拓扑搜索与操作搜索解耦,使搜索与评估一致。然后采用Gumbel-Top2重参数化与梯度累积来鲁棒化棘手的双层优化。我们在15个基准上广泛验证ROME,以证明其有效性与鲁棒性。
引用
@article{arxiv.2011.11233,
title = {ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation},
author = {Xiaoxing Wang and Xiangxiang Chu and Yuda Fan and Zhexi Zhang and Bo Zhang and Xiaokang Yang and Junchi Yan},
journal= {arXiv preprint arXiv:2011.11233},
year = {2023}
}
备注
ICCV2023