FaaSTube：优化无服务器计算中面向 GPU 的数据传输
分布式、并行与集群计算
2024-11-05 v1
摘要
无服务器计算在机器学习推理应用中获得了显著关注，这些应用通常部署为由多个 CPU 和 GPU 函数组成且具有数据依赖的无服务器工作流。然而，现有的无服务器计算数据传递解决方案主要依赖主机内存进行快速数据传输，需要大量的数据移动，从而产生显著的 I/O 开销。在本文中，我们提出了 FaaSTube，一个用于无服务器推理的 GPU 高效数据传递系统。FaaSTube 在 GPU 内存池内管理中间数据，以促进 GPU 函数之间的直接数据交换。它实现了 PCIe 和 NVLink 上的细粒度带宽共享，最小化了主机到 GPU 和 GPU 到 GPU 的数据传递延迟，同时在函数之间提供性能隔离。此外，FaaSTube 实现了一个弹性 GPU 内存池，可根据变化的数据传递需求动态扩展。在真实应用上的评估表明，FaaSTube 将端到端延迟降低了最多 90%，并与最先进方法相比实现了最高 12 倍的吞吐量提升。
引用
@article{arxiv.2411.01830,
title = {FaaSTube: Optimizing GPU-oriented Data Transfer for Serverless Computing},
author = {Hao Wu and Junxiao Deng and Minchen Yu and Yue Yu and Yaochen Liu and Hao Fan and Song Wu and Wei Wang},
journal= {arXiv preprint arXiv:2411.01830},
year = {2024}
}