Auptimizer——一个可扩展的开源超参数调优框架
机器学习
2019-11-07 v1 机器学习
摘要
大规模调优机器学习模型,尤其是寻找正确的超参数值,可能困难且耗时。除所需的计算努力外,该过程还需要一些辅助工作,包括工程任务(如作业调度)以及更繁琐的任务(如记录各种参数及相应结果)。我们提出Auptimizer,一个通用的超参数优化(Hyperparameter Optimization, HPO)框架,以帮助数据科学家加速模型调优与记录。借助Auptimizer,用户可在分布式设置中使用所有可用计算资源进行模型训练。用户友好的系统设计简化了典型机器学习项目的创建、控制与跟踪。该设计也允许研究人员集成新的HPO算法。为展示其灵活性,我们展示了Auptimizer如何集成若干主要HPO技术(从随机搜索到神经架构搜索)。代码可在https://github.com/LGE-ARC-AdvancedAI/auptimizer获取。
引用
@article{arxiv.1911.02522,
title = {Auptimizer -- an Extensible, Open-Source Framework for Hyperparameter Tuning},
author = {Jiayi Liu and Samarth Tripathi and Unmesh Kurup and Mohak Shah},
journal= {arXiv preprint arXiv:1911.02522},
year = {2019}
}
备注
Accepted at IEEE Big Data 2019