AgEBO-Tabular：面向表格数据的神经架构与超参数联合搜索及自动调优数据并行训练
机器学习
2021-10-27 v2 神经与进化计算
机器学习
摘要
为大型表格数据集开发高性能预测模型是一项具有挑战性的任务。当前最先进的方法基于由不同监督学习方法构成的专家开发的模型集成。近年来，自动化机器学习（AutoML）作为一种有前景的自动化预测模型开发方法正在兴起。神经架构搜索（NAS）是一种 AutoML 方法，它并行生成并评估多种神经网络架构，并迭代地提升所生成模型的精度。NAS 中的一个关键问题，尤其是对于大型数据集，是评估每个生成的架构所需的大量计算时间。虽然数据并行训练是一种有望解决该问题的方法，但将其用于 NAS 内部十分困难。对于不同的数据集，数据并行训练的设置（如并行进程数、学习率和批量大小）需要进行调整，以实现高精度并减少训练时间。为此，我们开发了 AgEBO-Tabular，一种将老化进化（AgE，一种在神经架构空间中进行搜索的并行 NAS 方法）与用于同时调优数据并行训练超参数的异步贝叶斯优化方法相结合的方法。我们证明了所提方法在为大型表格基准数据集生成高性能神经网络模型方面的有效性。此外，我们表明，使用我们的方法自动发现的神经网络模型在推理速度上比最先进的 AutoML 集成模型快两个数量级，同时达到相似的精度值。
引用
@article{arxiv.2010.16358,
title = {AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with Autotuned Data-Parallel Training for Tabular Data},
author = {Romain Egele and Prasanna Balaprakash and Venkatram Vishwanath and Isabelle Guyon and Zhengying Liu},
journal= {arXiv preprint arXiv:2010.16358},
year = {2021}
}