将 TensorFlow 扩展至每秒三亿次预测
机器学习
2021-09-21 v1 性能
摘要
我们介绍了在大规模在线广告生态系统中将机器学习模型迁移到 TensorFlow 框架的过程。在本次报告中，我们阐述了面临的关键挑战并描述了如何成功应对它们；特别是，用 TF 实现模型并利用多种优化技术以低延迟高效服务。
关键词
引用
@article{arxiv.2109.09541,
title = {Scaling TensorFlow to 300 million predictions per second},
author = {Jan Hartman and Davorin Kopič},
journal= {arXiv preprint arXiv:2109.09541},
year = {2021}
}