视觉对描述语言选择约束的大规模多语言研究

我们提出一项大规模多语言研究，探讨视觉如何约束语言选择，涵盖四种语言与五种语言属性，如动词及物性或数词使用。我们提出一种新方法，利用现有的含母语者所写描述的图像语料库，并将其应用于九个语料库，包含 60 万张图像与 300 万条描述。我们通过训练分类器从原始图像预测某一属性被表达的概率，来研究视觉输入与语言选择之间的关系，并找到支持跨语言语言属性受视觉语境约束这一主张的证据。我们以数词为测试用例，辅以语料库研究补充该探究。具体而言，我们利用已有标注（物体数量或类型）考察不同视觉条件对描述中数词表达使用的影响，并展示跨语言浮现出相似模式。我们的方法与发现既确认又拓展了认知文献中的现有研究。我们还讨论了在语言生成中的可能应用。