FSD-Inference：具有可扩展云通信的全无服务器分布式推理

无服务器计算提供了极具吸引力的可扩展性、弹性和成本效益。然而，内存、CPU和函数运行时的限制阻碍了其在数据密集型应用和机器学习（ML）工作负载中的采用。传统的“有服务器”平台通过快速网络和成熟的进程间通信（IPC）机制（如MPI和共享内存）实现分布式计算。在无服务器领域缺乏此类解决方案的情况下，具有显著IPC需求的并行计算充满挑战。我们提出了FSD-Inference，这是首个全无服务器且高度可扩展的分布式ML推理系统。我们探索了潜在的通信通道，结合函数即服务（FaaS）计算，为无服务器数据密集型计算背景下的分布式ML设计了一个最先进的解决方案。我们引入了新颖的全无服务器通信方案用于ML推理工作负载，同时利用了基于云的发布-订阅/队列和对象存储服务。我们展示了发布-订阅/队列服务如何适用于FaaS IPC，其性能可与对象存储相媲美，同时在高并行度水平下显著降低成本。我们对各种规模的基准深度神经网络（DNN）进行了深入实验。结果表明，与基于服务器的替代方案相比，FSD-Inference显著更具成本效益和可扩展性，甚至可以实现与优化的高性能计算（HPC）解决方案相竞争的性能。实验还证实，我们的无服务器解决方案可以处理大型分布式工作负载，并利用高度的FaaS并行性。