Cornfigurator: 面向Any-to-Any多模态模型serving的自动化部署规划

Any-to-Any模型是一种新兴的多模态模型，能够接受文本和多模态数据组合形式的输入，并生成相应的输出，引入异构计算路径和组件规模特征。现有机制要么需要手动 effort 和专业知识进行调优，要么不适用于通用的Any-to-Any模型。我们提出Cornfigurator，这是第一个面向通用Any-to-Any模型推理serving的部署规划器。Cornfigurator的目标是最大化serving模型的总体goodput，即满足其延迟目标的请求吞吐量。为此，基于模型和工作负载特征，Cornfigurator探索从colocation到disaggregation以及混合不同策略的全谱系部署策略。Cornfigurator采用粗到细统计评估，以有效地导航大量备选计划的空间。Cornfigurator生成的计划要么与现有系统和专家调优的部署计划相当，要么实现1.12倍至6.32倍的goodput提升。