深度神经网络架构配置的自动化搜索
机器学习
2019-04-10 v1 计算机视觉与模式识别
摘要
深度神经网络 (DNNs) 被密集用于解决各类复杂问题。尽管强大，此类系统仍需手动配置与调参。为此，我们将 DNNs 视为可配置系统，并提出一个端到端框架，支持 DNN 架构的配置、评估与自动化搜索。因此，我们的贡献有三方面。首先，我们用特征模型 (FM) 对 DNN 架构的变异性建模，该模型对现有架构进行了泛化。FM 的每一个有效配置对应一个可构建并训练的有效 DNN 模型。其次，我们在 Tensorflow 之上实现了一种自动化流程，用于部署、训练并评估所配置模型的性能。第三，我们提出一种配置搜索方法，并证明其能导出优良的 DNN 模型。我们通过将其应用于图像分类任务（MNIST、CIFAR-10）来评估该方法，结果表明在有限的计算与训练量下，我们的方法能识别出高性能（高准确率）架构。我们还证明优于 ML 研究者手工设计的现有 SOTA 架构。我们的 FM 与框架已发布 % 并公开以支持复现与未来研究。
引用
@article{arxiv.1904.04612,
title = {Automated Search for Configurations of Deep Neural Network Architectures},
author = {Salah Ghamizi and Maxime Cordy and Mike Papadakis and Yves Le Traon},
journal= {arXiv preprint arXiv:1904.04612},
year = {2019}
}