整合学习——一种针对 XGBoost 与 MIMIC-IV 的域特定无模型优化策略
机器学习
2022-01-31 v1
摘要
对于许多机器学习模型，超参数的选择是实现高性能的关键步骤。流行的元学习方法侧重于基于先前任务获得的结果，在有限的计算预算内为全新任务获得良好的超参数配置。本文提出了一种称为整合学习（consolidated learning）的调参问题新形式，它更适用于模型开发者所面临的实际挑战，即在大致相似的数据集上创建大量预测模型。在此类设定中，我们关注的是总优化时间，而非针对单一任务的调参。我们表明，精心选择的静态超参数组合随时优化都能产生良好结果，且保持易用性与易实现性。此外，我们指出了如何为特定领域构建此类组合。由于相似任务之间超参数配置更高效的迁移，优化上的改进得以实现。我们通过针对 XGBoost 算法和从 MIMIC-IV 医学数据库提取的预测任务集合的实证研究证明了该方法的有效性；然而，整合学习也适用于许多其他领域。
引用
@article{arxiv.2201.11815,
title = {Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV},
author = {Katarzyna Woźnica and Mateusz Grzyb and Zuzanna Trafas and Przemysław Biecek},
journal= {arXiv preprint arXiv:2201.11815},
year = {2022}
}