在动态搜索空间中利用有限 GPU 时间优化神经架构搜索：一种基因表达式编程方法
计算机视觉与模式识别
2023-09-19 v1 机器学习
神经与进化计算
摘要
在过去几年中，图像、文本、音频和视频中人与物体的高效识别、感兴趣区域的分割以及相关数据的提取取得了显著发展，深度学习方法与近期计算资源的改进为此成就做出了巨大贡献。尽管潜力出众，高效架构与模块的开发仍需专家知识以及可用的资源时间。本文提出一种基于进化的神经架构搜索方法，用于在仅 24 GPU 小时的动态搜索空间中高效发现卷积模型。凭借其高效的搜索环境与表型表示，基因表达式编程(Gene Expression Programming)被改造用于网络单元的生成。尽管 GPU 资源时间有限且搜索空间广阔，我们的方案取得了与手工设计的卷积网络以及 NAS 生成的网络相似的 SOTA 结果，甚至击败了类似的受约束的基于进化的 NAS 工作。不同运行中的最优单元取得了稳定结果，在 CIFAR-10 数据集上平均误差为 2.82%（最优模型误差为 2.67%），在 CIFAR-100 上为 18.83%（最优模型为 18.16%）。在移动端设置的 ImageNet 上，我们的最优模型分别取得了 29.51% 的 top-1 误差和 10.37% 的 top-5 误差。尽管基于进化的 NAS 工作被报道需要可观的 GPU 时间用于架构搜索，我们的方法在极短时间内获得了有前景的结果，鼓励在基于进化的 NAS 中开展进一步实验，以改进搜索与网络表示。
引用
@article{arxiv.2005.07669,
title = {Optimizing Neural Architecture Search using Limited GPU Time in a Dynamic Search Space: A Gene Expression Programming Approach},
author = {Jeovane Honorio Alves and Lucas Ferrari de Oliveira},
journal= {arXiv preprint arXiv:2005.07669},
year = {2023}
}
备注
Accepted for presentation at the IEEE Congress on Evolutionary Computation (IEEE CEC) 2020