基于拉马克进化的高效多目标神经架构搜索
机器学习
2019-02-27 v4 机器学习
摘要
神经架构搜索旨在自动寻找可与人类专家设计的架构竞争的神经架构。尽管近期方法在图像识别上取得了最先进的预测性能，它们在资源约束下存在两个问题：(1)所发现的神经架构仅针对高预测性能优化，而未对过度资源消耗进行惩罚；(2)大多数架构搜索方法需要巨大的计算资源。我们通过提出 LEMONADE 来解决第一个不足，这是一种用于多目标架构搜索的进化算法，允许在方法的单次运行中逼近多个目标（如预测性能和参数数量）下架构的整个帕累托前沿。我们通过为 LEMONADE 提出一种拉马克式继承机制来解决第二个不足，该机制生成的子代网络以其训练过的父代网络的预测性能热启动。这是通过使用（近似）网络态射算子生成子代来实现的。这两方面贡献的结合使得寻找与手工设计及自动设计的网络相当甚至更优的模型成为可能。
引用
@article{arxiv.1804.09081,
title = {Efficient Multi-objective Neural Architecture Search via Lamarckian Evolution},
author = {Thomas Elsken and Jan Hendrik Metzen and Frank Hutter},
journal= {arXiv preprint arXiv:1804.09081},
year = {2019}
}
备注
Published as a conference paper at ICLR, International Conference on Learning Representations, 2019