HPO 对 AutoML 预测集成的影响
机器学习
2023-11-08 v1 人工智能
摘要
由本地和全局单变量预测的多种估计器（特别是 MQ-CNN、DeepAR、Prophet、NPTS、ARIMA 和 ETS）组成的预测集成可用于各类问题的预测。本文深入探讨了在此类设置中（DeepAR 和 MQ-CNN）为深度学习模型添加不同超参数优化策略的方面，探索了所增加训练成本与不同配置下精度提升之间的权衡。研究表明，在此类设置中，添加超参数优化可带来性能改进，最终配置相对于无 HPO 的基线集成在 avg-wQL 上实现了 9.9% 的精度提升，同时端到端集成延迟增加了 65.8%。该改进基于将集成流水线分别与不同调优策略（即贝叶斯优化和 Hyperband 及其不同配置）结合的实证分析。在最终配置中，所提出的集成学习与 HPO 组合以低 3.5% 的误差和低 16.0% 的端到端集成延迟优于最先进的商业 AutoML 预测解决方案 Amazon Forecast。
引用
@article{arxiv.2311.04034,
title = {Impact of HPO on AutoML Forecasting Ensembles},
author = {David Hoffmann},
journal= {arXiv preprint arXiv:2311.04034},
year = {2023}
}