来自搜索空间聚类分析的启示:一种基于质心初始化NAS的方法
机器学习
2021-08-23 v1
摘要
神经架构搜索(NAS)研究中的大量工作致力于算法开发,旨在设计更高效且成本更低的方法。然而,对这些技术初始化的研究仍然匮乏,且目前大多数NAS方法依赖于随机初始化过程,因为搜索前获取信息的成本很高。不过,近期NAS基准测试的可用使得低计算资源下的原型设计成为可能。在本研究中,我们利用NAS基准测试的可用性,提出一种数据驱动初始化技术来加速NAS算法。具体而言,我们提出了一种两步法。首先,对搜索空间进行校准的聚类分析。其次,提取质心并用于初始化NAS算法。我们在NAS-bench-101上使用进化算法Aging Evolution测试了我们的方案。结果表明,与随机初始化相比,实现了更快的收敛和更优的最终解性能。
引用
@article{arxiv.2108.09126,
title = {Lessons from the Clustering Analysis of a Search Space: A Centroid-based Approach to Initializing NAS},
author = {Kalifou Rene Traore and Andrés Camero and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2108.09126},
year = {2021}
}
备注
Accepted to the Workshop on 'Data Science Meets Optimisation' at IJCAI 2021