理解并优化用于超参数调优的打包神经网络训练
机器学习
2021-04-27 v4 机器学习
摘要
随着神经网络在机器学习实践中的日益应用，如何在多样化模型训练任务间高效共享有限训练资源成为关键问题。为实现共享资源的更好利用，本文探索在单个 GPU 上联合训练多个神经网络模型的思路。我们通过提出称为 pack 的原语来实现该思路。我们进一步给出对 pack 的全面实证研究及端到端实验，表明其对超参数调优有显著改进。结果表明：(1) 打包两个模型在单训练步上可带来相较非打包设置最高 40% 的性能提升，且打包更多模型时提升增大；(2) pack 原语的收益很大程度上取决于若干因素，包括内存容量、芯片架构、神经网络结构与批大小；(3) 在有限资源上训练多个神经网络模型时，打包与非打包间存在权衡；(4) pack 感知的 Hyperband 比原始 Hyperband 最高快 2.7 倍，且此改进随内存增大及随之而来的模型打包密度提高而增长。
引用
@article{arxiv.2002.02885,
title = {Understanding and Optimizing Packed Neural Network Training for Hyper-Parameter Tuning},
author = {Rui Liu and Sanjay Krishnan and Aaron J. Elmore and Michael J. Franklin},
journal= {arXiv preprint arXiv:2002.02885},
year = {2021}
}