TopoNAS：通过拓扑简化提升梯度基于 NAS 搜索效率
计算机视觉与模式识别
2024-08-05 v1
摘要
提高搜索效率是神经网络搜索（NAS）的关键目标之一。然而，许多当前方法忽略了搜索策略的普遍性，未能在搜索过程中减少计算冗余，尤其是在 one-shot NAS 架构中。此外，当前的 NAS 方法在非线性搜索空间中显示无效的重参数化，导致在诸如 DARTS 等常见搜索空间中的效率较差。本文提出了 TopoNAS，一种用于梯度基于 one-shot NAS 的模型无关方法，通过对可搜索路径的拓扑简化显著减少搜索时间和内存使用。首先，我们建模了搜索空间中的非线性，以揭示参数化难题。为提高搜索效率，我们提出了一种拓扑简化方法并迭代应用模块共享策略以简化可搜索路径的拓扑结构。此外，还提出了一种核归一化技术以保持搜索准确性。在各种搜索空间上进行的 NASBench201 基准实验结果表明，我们方法的有效性。它证明了所提出的 TopoNAS 在保持高水平准确性的同时，提高了各种架构在搜索效率方面的性能。项目页面可访问于 https://xdedss.github.io/topo_simplification。
引用
@article{arxiv.2408.01311,
title = {TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification},
author = {Danpei Zhao and Zhuoran Liu and Bo Yuan},
journal= {arXiv preprint arXiv:2408.01311},
year = {2024}
}