魔鬼在于离散化差异：用单阶段搜索协议鲁棒化可微神经架构搜索
计算机视觉与模式识别
2024-05-28 v1 人工智能
机器学习
神经与进化计算
摘要
神经架构搜索（NAS）已被广泛用于为各种计算机视觉任务设计神经网络。其最有前景的子领域之一是可微神经架构搜索（DNAS），其中最优架构以可微的方式找到。然而，基于梯度的方法存在离散化误差，这会严重损害最终架构的获取过程。在我们的工作中，我们首先研究了离散化误差的风险，并展示了它如何影响一个未正则化的超网络。然后，我们指出惩罚高熵（一种常见的架构正则化技术）会阻碍超网络的性能。因此，为了鲁棒化DNAS框架，我们引入了一种新颖的单阶段搜索协议，该协议不依赖于解码连续架构。我们的结果表明，这种方法优于其他DNAS方法，在Cityscapes验证数据集上的搜索阶段达到了75.3%的性能，并且在包含短连接的非密集搜索空间中，其性能比DCNAS的最优网络高出1.1%。由于权重复用，整个训练过程仅需5.5个GPU天，并产生了一个计算高效的架构。此外，我们提出了一种新的数据集划分程序，该程序显著改善了结果，并防止了DARTS中的架构退化。
引用
@article{arxiv.2405.16610,
title = {The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol},
author = {Konstanty Subbotko and Wojciech Jablonski and Piotr Bilinski},
journal= {arXiv preprint arXiv:2405.16610},
year = {2024}
}
备注
Published in CVPR-NAS 2024 workshop