合成培养皿：一种用于快速架构搜索的新型代理模型
机器学习
2020-05-28 v1 机器学习
摘要
神经架构搜索(NAS)探索庞大的架构基元空间——这是一个计算密集型过程，通常涉及通过将每个基元实例化于大型网络中，并用数千个特定领域数据样本训练和评估该网络来对其进行真实评估。受生物基元（如细胞）有时从其自然环境提取并在人工培养皿环境中研究的启发，本文提出用于评估架构基元的合成培养皿(Synthetic Petri Dish)模型。在合成培养皿中，架构基元被实例化于极小的网络中，并使用极少的学习到的合成数据样本（以有效近似完整问题中的性能）进行评估。基元在合成培养皿中的相对性能可替代其真实性能，从而加速NAS中最昂贵的步骤。与其他通过解析基元结构来估计性能的基于神经网络的预测模型不同，合成培养皿通过在人工环境中训练实际基元来预测其性能，从而由其真实内在属性得出预测。本文实验表明，合成培养皿因此能以显著更高的准确度预测新基元的性能，尤其在真实数据不足时。我们希望本工作能启发在替代受控环境中研究模型提取组件性能的新研究方向。
引用
@article{arxiv.2005.13092,
title = {Synthetic Petri Dish: A Novel Surrogate Model for Rapid Architecture Search},
author = {Aditya Rawal and Joel Lehman and Felipe Petroski Such and Jeff Clune and Kenneth O. Stanley},
journal= {arXiv preprint arXiv:2005.13092},
year = {2020}
}