GPU、CPU 与... NIC：重新思考网络在复杂 AI 管道中的角色
网络与互联网体系结构
2025-02-25 v1 人工智能
操作系统
摘要
AI 的日益突出使部署用于高效和有效管理 AI 管道和计算资源的推理平台成为必然趋势。随着管道复杂度的增加，对分布式部署的需求上升，引入大量可怕的网络延迟。在本文中，我们研究网络如何成为应对 AI 管道过度资源开销的盟友。为缓解这些开销，我们讨论了资源密集型数据处理任务——这一点是日益增长的 AI 管道复杂度的关键方面——如何适合数据包处理管道的计算特征，并如何将其卸载到 SmartNIC 上。我们探讨了卸载的挑战与机遇，并提出了将网络硬件集成到 AI 管道中的研究议程，开启新的优化机遇。
引用
@article{arxiv.2502.15712,
title = {GPUs, CPUs, and... NICs: Rethinking the Network's Role in Serving Complex AI Pipelines},
author = {Mike Wong and Ulysses Butler and Emma Farkash and Praveen Tammana and Anirudh Sivaraman and Ravi Netravali},
journal= {arXiv preprint arXiv:2502.15712},
year = {2025}
}