自动化深度学习：神经架构搜索并非终点
机器学习
2022-05-18 v3
摘要
深度学习（DL）已被证明是一种在多种场景下开发模型的高效方法，包括视觉感知、语音识别和机器翻译。然而，应用深度学习的端到端过程并非易事。它需要处理问题建模与上下文理解、数据工程、模型开发、部署、持续监控与维护等。此外，这些步骤通常严重依赖人类的知识与交互，这阻碍了深度学习的进一步发展和普及。因此，为应对这些问题，过去几年兴起了一个新领域：自动化深度学习（AutoDL）。该方向旨在最小化人工参与，并以其神经架构搜索（NAS）方面的成果最为知名，NAS 已是若干综述的焦点。尽管如此，NAS 并非 AutoDL 的全部。据此，本综述采用全局视角，考察典型深度学习工作流中各环节自动化相关的研究工作。在此过程中，本文还提出了一套由十项标准构成的综合评价体系，用以评估单个出版物及更广泛研究领域的现有工作。这些标准是：新颖性、解的质量、效率、稳定性、可解释性、可复现性、工程质量、可扩展性、泛化性和生态友好性。最终，本综述对 2020 年代初期的 AutoDL 进行了评估性概览，并指出未来可能取得进展的机遇。
引用
@article{arxiv.2112.09245,
title = {Automated Deep Learning: Neural Architecture Search Is Not the End},
author = {Xuanyi Dong and David Jacob Kedziora and Katarzyna Musial and Bogdan Gabrys},
journal= {arXiv preprint arXiv:2112.09245},
year = {2022}
}
备注
66 pages, 10 tables, 4 figures, 325 references; improve the old version with community feedback