基于差分架构编码的预测型演化神经网络搜索
计算机视觉与模式识别
2024-11-25 v1
摘要
神经网络搜索（NAS）持续发挥在任务特定部署中设计和开发神经网络的关键作用。现代NAS技术难以应对日益增长的搜索空间复杂性和计算成本约束。现有方法可分为两大类：细粒度计算昂贵的NAS和粗粒度低成本NAS。我们的目标是构建一种能够以低成本进行细粒度NAS的算法。我们提出通过预测相似网络对准确差异来将问题投射到更低维空间。这种范式转变允许将搜索空间复杂度从指数级降低到线性。我们为该算法提供了强有力的数学基础，并进行了大量常规NAS基准的实验结果。我们的方法显著优于现有工作，在更佳性能的同时实现了显著更高的样本效率。
引用
@article{arxiv.2411.14498,
title = {Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search},
author = {Arjun Sridhar and Yiran Chen},
journal= {arXiv preprint arXiv:2411.14498},
year = {2024}
}