VEGA：面向端到端可配置的 AutoML 流水线
计算机视觉与模式识别
2020-11-30 v4
摘要
自动化机器学习（AutoML）是一种用于自动发现与部署机器学习模型的重要工业解决方案。然而，设计一个集成的 AutoML 系统面临可配置性、可扩展性、可集成性与平台多样性四大挑战。本工作中，我们提出 VEGA，一个高效且全面的 AutoML 框架，兼容并针对多种硬件平台优化。a) VEGA 流水线集成了 AutoML 的各类模块，包括神经架构搜索（NAS）、超参数优化（HPO）、自动数据增强、模型压缩与全量训练。b) 为支持多种搜索算法与任务，我们设计了一种细粒度搜索空间及其描述语言，以轻松适配不同搜索算法与任务。c) 我们将深度学习框架的公共组件抽象为统一接口，VEGA 可在多种后端与硬件上执行。在多个任务上的大量基准实验表明，VEGA 可改进现有 AutoML 算法，并针对 SOTA 方法发现新的高性能模型，例如在 ImageNet 上搜索得到的 DNet 模型库相较 EfficientNet-B5 快 10 倍、相较 RegNetX-32GF 快 9.2 倍。VEGA 已在 https://github.com/huawei-noah/vega 开源。
引用
@article{arxiv.2011.01507,
title = {VEGA: Towards an End-to-End Configurable AutoML Pipeline},
author = {Bochao Wang and Hang Xu and Jiajin Zhang and Chen Chen and Xiaozhi Fang and Yixing Xu and Ning Kang and Lanqing Hong and Chenhan Jiang and Xinyue Cai and Jiawei Li and Fengwei Zhou and Yong Li and Zhicheng Liu and Xinghao Chen and Kai Han and Han Shu and Dehua Song and Yunhe Wang and Wei Zhang and Chunjing Xu and Zhenguo Li and Wenzhi Liu and Tong Zhang},
journal= {arXiv preprint arXiv:2011.01507},
year = {2020}
}
备注
AutoML pipeline. Code is open-sourced at https://github.com/huawei-noah/vega