面向 AutoML 系统评估的任务选择
机器学习
2022-08-29 v1
摘要
我们的目标是评估 AutoML 系统的变更——即对搜索空间或超参数优化的变更——是否会提升最终模型在生产任务上的性能。然而，我们无法在生产任务上测试这些变更。相反，我们仅能获取 AutoML 系统先前执行过的任务的一些有限描述符，例如数据点数量或特征数量。我们还有一组用于测试变更的开发任务，例如从 OpenML 中采样且无条件使用限制的任务。但是，开发任务与生产任务的分布不同，导致我们追求的变更仅能改进开发任务而非生产任务。本文提出一种方法，利用关于 AutoML 生产任务的描述符信息，筛选出最相关的开发任务子集。实证研究表明，我们的筛选策略提升了在分布不同于开发的留出任务上评估 AutoML 系统变更的能力。
引用
@article{arxiv.2208.12754,
title = {Task Selection for AutoML System Evaluation},
author = {Jonathan Lorraine and Nihesh Anderson and Chansoo Lee and Quentin De Laroussilhe and Mehadi Hassen},
journal= {arXiv preprint arXiv:2208.12754},
year = {2022}
}