图像描述中的跨语言与跨文化差异
计算与语言
2024-10-15 v3
摘要
不同语言的使用者对他们所看到的事物有不同的描述吗？行为与认知研究报道了文化对感知的影响；然而，这些研究大多范围有限且难以复现。在本研究中，我们对图像描述中的跨语言差异进行了首次大规模实证研究。利用包含 31 种语言和来自不同地理位置图像的多模态数据集，我们开发了一种方法来准确识别描述文本中提及且存在于图像中的实体，随后测量它们在不同语言间的差异。我们的分析表明，在地理或谱系上更接近的语言对倾向于更频繁地提及相同的实体。我们还识别了其显著性普遍较高（如生命体）、普遍较低（服饰配件）或在语言间表现出高方差（景观）的实体类别。在案例研究中，我们测量了特定语言对中的差异（例如，日语提及服饰的频率远高于英语）。此外，我们的方法证实了以往的小规模研究，包括：1) Rosch 等人 (1976) 的基本层次类别理论，展示了对既不过于泛化也不过于具体的实体的偏好；2) Miyamoto 等人 (2006) 的假设，即环境提供了感知模式，例如实体计数。总体而言，我们的工作揭示了实体提及中普遍模式与特定文化模式并存的现象。
引用
@article{arxiv.2409.16646,
title = {Cross-Lingual and Cross-Cultural Variation in Image Descriptions},
author = {Uri Berger and Edoardo M. Ponti},
journal= {arXiv preprint arXiv:2409.16646},
year = {2024}
}