IS-DARTS：通过对候选重要性的精确测量稳定 DARTS
机器学习
2023-12-21 v1 计算机视觉与模式识别
摘要
在现有的神经架构搜索方法中，DARTS 以其效率和简洁性而闻名。该方法应用网络表示的连续松弛来构建权重共享的超网，并能够在短短几个 GPU 天内识别出优秀的子网。然而，DARTS 中的性能崩溃会导致架构恶化，充斥着无参数操作，这仍然是鲁棒性方面的巨大挑战。为解决这一问题，我们通过理论和实验分析揭示，其根本原因是搜索空间中候选重要性估计的偏差，并通过基于信息的测量更精确地选择操作。此外，我们证明了对超网的过度关注以及双层优化中数据的低效利用也是导致次优结果的原因。我们采用了一个更现实的目标，专注于子网的性能，并借助基于信息的测量对其进行了简化。最后，我们从理论上解释了为何逐步缩小超网宽度是必要的，并减少了 DARTS 中最优权重的近似误差。我们提出的名为 IS-DARTS 的方法全面改进了 DARTS 并解决了上述问题。在 NAS-Bench-201 和基于 DARTS 的搜索空间上进行的大量实验证明了 IS-DARTS 的有效性。
引用
@article{arxiv.2312.12648,
title = {IS-DARTS: Stabilizing DARTS through Precise Measurement on Candidate Importance},
author = {Hongyi He and Longjun Liu and Haonan Zhang and Nanning Zheng},
journal= {arXiv preprint arXiv:2312.12648},
year = {2023}
}
备注
accepted by AAAI2024, paper + supplementary, 11 pages