面向自调优参数服务器
数据库
2020-08-05 v2
摘要
近年来，诸多应用因机器学习（ML）的使用而取得进展。如今，涉及数百万模型参数、数 TB 训练数据与数周训练的工业级机器学习作业已十分常见。因此，良好的效率（即运行特定 ML 作业的快速完成时间）是成功 ML 系统的关键特征。虽然长时运行 ML 作业的完成时间由达到模型收敛所需时间决定，实际上也极大受各类系统设置取值的影响。本文贡献了构建自调优参数服务器的技术。参数服务器（PS）是大规模机器学习系统的流行系统架构；所谓自调优，是指当长时运行 ML 作业迭代训练专家建议的模型时，系统也迭代学习何种系统设置对该作业更高效并在线应用。尽管我们的技术对各类 PS 风格 ML 系统具有通用性，我们已在 TensorFlow 之上实现原型。实验表明，我们的技术可将多种长时运行 TensorFlow 作业的完成时间缩短 1.4 倍至 18 倍。
引用
@article{arxiv.1810.02935,
title = {Towards Self-Tuning Parameter Servers},
author = {Chris Liu and Pengfei Zhang and Bo Tang and Hang Shen and Lei Zhu and Ziliang Lai and Eric Lo},
journal= {arXiv preprint arXiv:1810.02935},
year = {2020}
}
备注
13 pages