以质量多样性优化应对神经架构搜索
机器学习
2022-08-02 v1 神经与进化计算
机器学习
摘要
神经架构搜索（NAS）已被广泛研究，并发展成为一个具有重大影响力的研究领域。经典的单目标NAS寻找性能最佳的架构，而多目标NAS同时考虑多个应被优化的目标，例如最小化资源占用与验证误差。尽管多目标NAS领域已取得可观进展，我们认为实际感兴趣的优化问题与多目标NAS试图解决的优化问题之间存在一定偏差。我们通过将多目标NAS问题表述为质量多样性优化（QDO）问题来消除这一偏差，并引入三种质量多样性NAS优化器（其中两种属于多保真优化器），它们搜索高性能且多样化的架构，这些架构针对特定应用的生态位（如硬件约束）是最优的。通过将这些优化器与其多目标对应方法比较，我们证明质量多样性NAS在解的质量与效率上总体优于多目标NAS。我们进一步展示了应用与未来NAS研究如何受益于QDO。
引用
@article{arxiv.2208.00204,
title = {Tackling Neural Architecture Search With Quality Diversity Optimization},
author = {Lennart Schneider and Florian Pfisterer and Paul Kent and Juergen Branke and Bernd Bischl and Janek Thomas},
journal= {arXiv preprint arXiv:2208.00204},
year = {2022}
}
备注
Accepted at the First Conference on Automated Machine Learning (Main Track). 30 pages, 8 tables, 13 figures