SoS：多语言文本到图像生成中表层优先于语义的分析
计算与语言
2026-01-26 v1 人工智能
摘要
文本到图像（T2I）模型正被全球用户日益广泛地使用。然而，先前的研究指出T2I对特定输入语言高度敏感——当面对英语以外的语言（即同一提示的不同表层形式）时，T2I模型常常产生文化刻板印象的描绘，优先考虑表层而非提示的语义。然而，对这种我们称之为“表层优先于语义”（SoS）的行为的全面分析尚付阙如。我们首次对T2I模型的SoS倾向进行了分析。为此，我们创建了一组涵盖171种文化身份、翻译成14种语言的提示，并用其提示了七个T2I模型。为了量化不同模型、语言和文化中的SoS倾向，我们引入了一种新的度量标准，并分析了我们识别的倾向如何在视觉上显现。我们表明，除一个模型外，所有模型在至少两种语言中都表现出强烈的表层倾向，且这种效应在T2I文本编码器的各层中不断增强。此外，这些表层倾向通常与刻板的视觉描绘相关。
引用
@article{arxiv.2601.16803,
title = {SoS: Analysis of Surface over Semantics in Multilingual Text-To-Image Generation},
author = {Carolin Holtermann and Florian Schneider and Anne Lauscher},
journal= {arXiv preprint arXiv:2601.16803},
year = {2026}
}