Deep-n-Cheap：一种用于低复杂度深度学习的自动化搜索框架
机器学习
2020-09-08 v3 计算机视觉与模式识别
机器学习
摘要
我们提出 Deep-n-Cheap——一个用于搜索深度学习模型的开源 AutoML 框架。该搜索同时包含架构与训练超参数，并支持卷积神经网络和多层感知机。我们的框架面向基准数据集与自定义数据集上的部署，因此相较于仅对文献中已有模型进行有限搜索，提供了更高程度的搜索空间可定制性。我们还引入了“搜索迁移”技术，展示了我们框架所发现模型对多个数据集的泛化能力。Deep-n-Cheap 包含用户可定制的复杂度惩罚项，用以在性能与训练时间或参数数量之间进行权衡。具体而言，我们的框架所得模型在性能上与 state-of-the-art 相当，而训练时间比其他 AutoML 与模型搜索框架的模型少 1-2 个数量级。此外，本工作调查并发展了关于搜索过程的多种见解。特别地，我们展示了贪心策略的优越性，并论证了选择贝叶斯优化作为首要搜索方法而非随机/网格搜索的合理性。
引用
@article{arxiv.2004.00974,
title = {Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep Learning},
author = {Sourya Dey and Saikrishna C. Kanala and Keith M. Chugg and Peter A. Beerel},
journal= {arXiv preprint arXiv:2004.00974},
year = {2020}
}
备注
Accepted as a conference paper at ACML 2020