SpotTune：在公有云中利用瞬时资源进行高性价比超参数调优
分布式、并行与集群计算
2020-12-08 v1 机器学习
摘要
超参数调优（HPT）对许多机器学习（ML）算法至关重要。但由于搜索空间大，HPT通常耗时且资源密集。如今许多研究者在公有云上训练机器学习模型，方便却昂贵。如何加速HPT过程同时降低成本对云ML用户非常重要。本文提出SpotTune，一种利用公有云中瞬时可撤销资源并结合定制策略以并行且经济高效方式进行HPT的方法。SpotTune在瞬时服务器上编排HPT过程，采用细粒度成本感知资源供给与ML训练趋势预测两项主要技术，以降低HPT过程的货币成本与运行时间。评估显示SpotTune最多可降低90%成本，并取得16.61倍的性价比提升。
引用
@article{arxiv.2012.03576,
title = {SpotTune: Leveraging Transient Resources for Cost-efficient Hyper-parameter Tuning in the Public Cloud},
author = {Yan Li and Bo An and Junming Ma and Donggang Cao and Yasha Wang and Hong Mei},
journal= {arXiv preprint arXiv:2012.03576},
year = {2020}
}
备注
11 pages, accepted by ICDCS 2020