迷失在翻译中？文本到图像模型在多语言概念上的翻译误差与公平评估挑战

文本到图像（T2I）模型的多语言能力基准测试通过将测试语言提示生成的图像与概念集上的预期图像分布进行比较来进行评估。其中一个基准测试“跨语言概念覆盖度”（CoCo-CroLa）通过提示 T2I 模型根据翻译成七种语言的概念列表生成图片并比较输出图像群体，来评估 T2I 模型的实体名词库。遗憾的是，我们发现该基准测试在西班牙语、日语和中文中存在严重程度不一的翻译误差。我们提供了这些误差的修正，并分析了它们对 CoCo-CroLa 作为基准测试的效用和有效性的影响程度。我们使用修订后的版本重新评估了多个基线 T2I 模型，将新翻译引发的输出与旧翻译条件下的输出进行比较，并表明修正对图像域基准测试结果的影响程度可以通过文本域中的相似度分数进行预测。我们的发现将通过为实际翻译决策提供分析工具，指导未来 T2I 多语言指标的开发。