基于上下文无关文法的分层神经架构搜索空间构建
机器学习
2023-12-11 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
从简单构建块中发现神经架构是神经架构搜索（NAS）的一个长期目标。分层搜索空间是实现这一目标的一个有前景的步骤，但缺乏统一的搜索空间设计框架，并且通常仅搜索架构的某些有限方面。在这项工作中，我们引入了一种基于上下文无关文法的统一搜索空间设计框架，该框架可以自然且紧凑地生成富有表达力的分层搜索空间，其规模比文献中常见空间大数百个数量级。通过增强并利用其性质，我们有效地实现了对完整架构的搜索，并能够促进规律性。此外，我们为贝叶斯优化搜索策略提出了一种高效的分层核设计，以高效搜索此类巨大空间。我们展示了我们搜索空间设计框架的通用性，并表明我们的搜索策略可以优于现有的 NAS 方法。代码可在 https://github.com/automl/hierarchical_nas_construction 获取。
引用
@article{arxiv.2211.01842,
title = {Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars},
author = {Simon Schrodi and Danny Stoll and Binxin Ru and Rhea Sukthanker and Thomas Brox and Frank Hutter},
journal= {arXiv preprint arXiv:2211.01842},
year = {2023}
}
备注
NeurIPS 2023