大型云模型与轻量级边缘模型之间文本到图像生成请求的自适应路由

大型文本到图像模型展示了令人印象深刻的生成能力；然而，它们庞大的体积需要昂贵的云服务器进行部署。相反，轻量级模型可以以较低成本部署在边缘设备上，但对于复杂的用户提示，其生成质量通常较差。为了在性能和成本之间取得平衡，我们提出了一种名为RouteT2I的路由框架，该框架为每个用户提示动态选择大型云模型或轻量级边缘模型。由于生成的图像质量难以直接测量和比较，RouteT2I建立了多维质量指标，特别是通过评估生成图像与描述每个特定质量指标的正面和负面文本之间的相似性。然后，RouteT2I通过识别提示中的关键标记并比较它们对质量的影响来预测生成图像的预期质量。RouteT2I进一步引入了帕累托相对优势来比较生成图像的多指标质量。基于这种比较和预定义的成本约束，RouteT2I将提示分配给边缘或云。评估表明，RouteT2I在保持高质量图像生成的同时，显著减少了对大型云模型的请求数量。