TrimTuner：通过子采样在云中高效优化机器学习作业
机器学习
2020-11-11 v1 分布式、并行与集群计算
摘要
本工作介绍 TrimTuner，首个用于优化云中机器学习作业的系统，其利用子采样技术在考虑用户指定约束的同时降低优化过程成本。TrimTuner 联合优化云参数与应用特定参数，并且与最先进的云优化工作不同，它避免了在每次采样新配置时用完整训练集训练模型。事实上，通过利用子采样技术和使用比原始数据集小至多 60 倍的数据集，我们展示 TrimTuner 可将优化过程成本降低至多 50 倍。此外，相较于使用子采样技术的超参数优化最先进技术，TrimTuner 将推荐过程加速了 65 倍。这一改进的原因有二：i) 一种减少需评估采集函数的配置数量的新型领域特定启发式；ii) 采用决策树集成，将推荐过程速度再提升一个数量级。
引用
@article{arxiv.2011.04726,
title = {TrimTuner: Efficient Optimization of Machine Learning Jobs in the Cloud via Sub-Sampling},
author = {Pedro Mendes and Maria Casimiro and Paolo Romano and David Garlan},
journal= {arXiv preprint arXiv:2011.04726},
year = {2020}
}
备注
Mascots 2020