使用无梯度优化算法自动调优 TensorFlow 的 CPU 后端
机器学习
2021-09-15 v1 人工智能
分布式、并行与集群计算
摘要
现代深度学习（DL）应用是使用 TensorFlow 和 PyTorch 等 DL 库和框架构建的。这些框架具有复杂的参数，典型用户（如 DL 开发者和数据科学家）要将它们调优以获得良好的训练和推理性能颇具挑战。手动调优需要深入了解 DL 框架中用户可控参数以及底层硬件，是一个缓慢且繁琐的过程，通常只能给出次优解。在本文中，我们将调优 DL 框架参数以提升训练和推理性能的问题视为黑盒优化问题。随后我们研究了贝叶斯优化（BO）、遗传算法（GA）和 Nelder-Mead 单纯形法（NMS）在调优 TensorFlow CPU 后端参数方面的适用性与有效性。尽管已有工作研究了 Nelder-Mead 单纯形法在类似问题上的使用，但其未提供对其他更流行算法适用性的见解。为此，我们在多种 DL 模型上对这三种算法调优 TensorFlow CPU 后端进行了系统的比较分析。我们的发现表明，贝叶斯优化在多数模型上表现最佳，但也存在其未给出最佳结果的情况。
引用
@article{arxiv.2109.06266,
title = {Automatic Tuning of Tensorflow's CPU Backend using Gradient-Free Optimization Algorithms},
author = {Derssie Mebratu and Niranjan Hasabnis and Pietro Mercati and Gaurit Sharma and Shamima Najnin},
journal= {arXiv preprint arXiv:2109.06266},
year = {2021}
}
备注
To appear in the Proceedings of the Machine Learning on HPC Systems (MLHPCS) workshop held in conjunction with International Supercomputing Conference (ISC), July 2, 2021