只需搜索一半空间
机器学习
2025-05-21 v1 机器学习
摘要
神经网络搜索（NAS）是自动化架构设计的强大工具。单次NAS技术，如DARTS，因其搜索效率与实现简单性而获得了广泛流行。就设计而言，单次方法在搜索期间具有高GPU内存要求。为缓解此问题，我们提出了一种高效自动方式来修剪搜索空间，以减少内存消耗和搜索时间，同时保持搜索准确率。具体而言，我们利用零监督NAS高效地删除搜索空间中表现较差的架构，然后对修剪后的搜索空间应用单次NAS。在DARTS搜索空间上的实验结果表明，我们的方法在与基线单次设置相当的搜索准确率下，将内存消耗降低了81%。
引用
@article{arxiv.2505.13586,
title = {Half Search Space is All You Need},
author = {Pavel Rumiantsev and Mark Coates},
journal= {arXiv preprint arXiv:2505.13586},
year = {2025}
}