AntBatchInfer：Kubernetes 集群中的弹性批量推理
机器学习
2024-04-16 v1 分布式、并行与集群计算
摘要
离线批量推理是工业界深度学习应用的一项常见任务，但在处理海量数据和复杂推理流水线时，确保稳定性和性能极具挑战。本文展示了 AntBatchInfer，一种弹性批量推理框架，专门针对非专用集群进行了优化。AntBatchInfer 通过提供多级容错能力来解决这些挑战，从而支持多样且长时间运行的推理任务的稳定执行。它还通过流水线技术、节点内和节点间扩展来提升推理效率。此外，它进一步优化了复杂的多模型批量推理场景下的性能。通过大量实验和真实世界统计数据，我们证明了本框架在稳定性和效率方面的优越性。实验中，在单模型或多模型批量推理任务上，其性能至少比基线高出 和 。此外，它已在 Ant Group 广泛应用，每天处理来自 DLRM、CV 和 NLP 等各种场景的数千个作业，证明了其在工业界的实用性。
引用
@article{arxiv.2404.09686,
title = {AntBatchInfer: Elastic Batch Inference in the Kubernetes Cluster},
author = {Siyuan Li and Youshao Xiao and Fanzhuang Meng and Lin Ju and Lei Liang and Lin Wang and Jun Zhou},
journal= {arXiv preprint arXiv:2404.09686},
year = {2024}
}