文本到图像模型中的多语言概念覆盖

我们提出“跨语言概念覆盖”（Conceptual Coverage Across Languages，CoCo-CroLa），一种用于基准测试任何生成式文本到图像系统在其训练语言之外就具体名词提供多语言对等程度的技术。对于每个模型，我们可以通过比较源语言中一系列具体名词所生成的图像集合与目标语言中每个名词翻译后所生成的图像集合，来评估给定目标语言相对于源语言的“概念覆盖”。该技术使我们能够估计模型对目标语言的适用程度，并在无先验假设的情况下识别模型特定的弱点、虚假相关性与偏差。我们展示了如何将其用于基准测试文本到图像（T2I）模型的多语言性，以及尽管其简单，却可作为令人印象深刻的泛化能力的良好代理。