如同双语婴儿：视觉基础双语语言模型的优势
计算与语言
2023-02-15 v2
摘要
与大多数神经语言模型不同，人类在丰富、多感官且通常是多语言的环境中学习语言。当前的语言模型通常无法完全捕捉多语言语言使用的复杂性。我们在 MS-COCO-ES 的英语和西班牙语图像及说明上训练了一个 LSTM 语言模型。我们发现视觉基础改善了模型对语言内和跨语言语义相似性的理解，并改善了困惑度。然而，我们发现视觉基础对抽象词汇没有显著优势。我们的结果为视觉基础语言模型的优势提供了额外证据，并指出了需要来自多语言说话者的更自然的语言数据，以及具有感知基础的多语言数据集。
引用
@article{arxiv.2210.05487,
title = {Like a bilingual baby: The advantage of visually grounding a bilingual language model},
author = {Khai-Nguyen Nguyen and Zixin Tang and Ankur Mali and Alex Kelly},
journal= {arXiv preprint arXiv:2210.05487},
year = {2023}
}
备注
Preprint, 7 pages, 2 tables, 1 figure