基于阶段的深度学习超参数优化
机器学习
2019-11-26 v1 机器学习
摘要
随着深度学习技术空前发展，超参数优化已成为深度学习集群中的新型主要工作负载。尽管超参数优化对于训练深度学习模型以获得高性能至关重要，但高效执行这一计算密集型负载仍具挑战。我们观察到，现有超参数优化算法产生的众多试验共享相同的超参数序列前缀，这意味着重复训练相同超参数序列带来了冗余计算。我们提出一种基于阶段的执行策略，以高效执行超参数优化算法。该策略通过将试验的超参数序列拆分为同质阶段，并合并公共前缀生成阶段树，从而消除训练过程中的冗余。初步实验结果表明，将基于阶段的执行应用于超参数优化算法优于原有的基于试验的方法，分别最多节省所需 GPU 小时数和端到端训练时间达 6.60 倍和 4.13 倍。
引用
@article{arxiv.1911.10504,
title = {Stage-based Hyper-parameter Optimization for Deep Learning},
author = {Ahnjae Shin and Dong-Jin Shin and Sungwoo Cho and Do Yoon Kim and Eunji Jeong and Gyeong-In Yu and Byung-Gon Chun},
journal= {arXiv preprint arXiv:1911.10504},
year = {2019}
}