一种用于神经架构搜索初始化的数据驱动方法
机器学习
2021-11-08 v1 人工智能
神经与进化计算
摘要
神经架构搜索（NAS）中的算法设计已受到大量关注，旨在提升性能并降低计算成本。尽管取得了巨大进展，鲜有作者提出为 NAS 量身定制初始化技术。然而文献表明，一组良好的初始解有助于寻找最优解。因此，在本研究中，我们提出一种数据驱动技术来初始化基于种群的 NAS 算法。具体而言，我们提出了一个两步方法论。首先，我们对搜索空间进行校准聚类分析；其次，我们提取质心并用其初始化 NAS 算法。我们使用三种基于种群的算法（即遗传算法、进化算法和老化进化）在 CIFAR-10 上，将所提方法与随机和拉丁超立方采样初始化进行基准比较。更具体地，我们使用 NAS-Bench-101 以利用 NAS 基准的可用性。结果表明，与随机和拉丁超立方采样相比，所提初始化技术能为两种搜索基线实现显著的长期改进，且有时在各种搜索场景（各种训练预算）下如此。此外，我们分析了所获得解的分布，发现数据驱动初始化技术所提供的种群能够检索出高适应度且配置相似的局部最优（极大值）。
引用
@article{arxiv.2111.03524,
title = {A Data-driven Approach to Neural Architecture Search Initialization},
author = {Kalifou René Traoré and Andrés Camero and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2111.03524},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:2108.09126