CAIRe：通过检索增强评估进行图像的文化归属
计算机视觉与模式识别
2025-11-21 v2 计算与语言
摘要
随着文本到图像模型变得越来越普遍，确保其在多元文化背景下的公平性能至关重要。缓解跨文化偏见的努力受到权衡的阻碍，包括性能损失、不准确的事实输出或冒犯性输出。尽管这些挑战已得到广泛认可，但无法可靠地测量这些偏见阻碍了进展。为填补这一空白，我们引入了CAIRe，一种评估图像文化相关程度的评估指标，给定用户定义的标签集。我们的框架将图像中的实体和概念锚定到知识库，并利用事实信息为每种文化标签给出独立的分级判断。在使用语言模型构建的、手动整理的、包含文化显著但罕见物品的数据集上，CAIRe在所有基线之上超越了22个F1分数点。此外，我们为文化通用概念构建了两个数据集，一个包含文本到图像生成的输出，另一个来自自然发生的数据。CAIRe在这两个数据集上与人类评分的皮尔逊相关系数分别为0.56和0.66，基于5点李克特量表的文化相关性。这表明它在多样化的图像来源中与人类判断具有高度一致性。
引用
@article{arxiv.2506.09109,
title = {CAIRe: Cultural Attribution of Images by Retrieval-Augmented Evaluation},
author = {Arnav Yayavaram and Siddharth Yayavaram and Simran Khanuja and Michael Saxon and Graham Neubig},
journal= {arXiv preprint arXiv:2506.09109},
year = {2025}
}
备注
Preprint, under review