Cornserve：面向任意多模态模型的分布式serving系统

任意-任意模型是一种新兴的多模态模型类，能够接受组合多模态数据（如文本、图像、视频、音频）作为输入并生成它们作为输出。部署这些模型具有挑战性；不同输入和输出模态的请求在模型计算图中沿着不同的路径传递，模型的各个组件具有不同的规模特征。我们提出了 Cornserve，一个用于通用任意-任意模型的分布式serving系统。Cornserve 提供了灵活的任务抽象来表达任意-任意模型的计算图，实现组件的解耦和独立规模。分布式运行时通过一种高效的记录-回放执行模型将计算调度到数据平面，该模型跟踪数据依赖关系，并直接将张量数据从生产者转发到消费者。基于 Kubernetes 实现，包含约 23K 行 Python 代码，Cornserve 支持多样化的任意-任意模型，实现最高可达 3.81$\times$ 的吞吐量提升和 5.79$\times$ 的尾延迟降低。Cornserve 为开源，演示视频已上传至 YouTube。