Auto-PyTorch Tabular：面向高效鲁棒 AutoDL 的多保真元学习
机器学习
2021-04-27 v3 人工智能
机器学习
摘要
虽然早期的 AutoML 框架侧重于优化传统 ML 流水线及其超参数，但 AutoML 近期趋势聚焦于神经架构搜索。本文介绍 Auto-PyTorch，其通过联合且鲁棒地优化网络架构与训练超参数，将这两方面的优势结合，以实现全自动化深度学习（AutoDL）。Auto-PyTorch 通过将多保真优化与用于深度神经网络（DNNs）及表格数据常用基线的热启动和集成的组合构建相结合，在多个表格基准上达到最先进性能。为深入研究我们关于如何设计此类 AutoDL 系统的假设，我们额外引入了名为 LCBench 的 DNN 学习曲线新基准，并在典型 AutoML 基准上对完整 Auto-PyTorch 进行广泛消融研究，最终表明 Auto-PyTorch 平均上优于若干最先进竞争对手。
引用
@article{arxiv.2006.13799,
title = {Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and Robust AutoDL},
author = {Lucas Zimmer and Marius Lindauer and Frank Hutter},
journal= {arXiv preprint arXiv:2006.13799},
year = {2021}
}