印地语作为第二语言：利用语义相似样本改进视觉接地语音模型
计算与语言
2023-03-31 v1 计算机视觉与模式识别
声音
音频与语音处理
摘要
本工作的目标是从多语言视角探索视觉接地语音模型（VGS）的学习。双语 VGS 模型通常使用两种语言数量相等的口语字幕进行训练。然而在现实中，可用口语字幕在不同语言间可能存在不平衡。我们在本工作中的关键贡献是，在双语视觉接地语音模型中利用高资源语言的能力来提升低资源语言的性能。我们引入两种将高资源语言知识蒸馏到低资源语言的方法：（1）引入一个强大的预训练高资源语言编码器；（2）使用语义相似的口语字幕。我们的实验表明，结合这两种方法能有效使低资源语言在跨模态检索任务上超越单语和双语对应模型的性能。
引用
@article{arxiv.2303.17517,
title = {Hindi as a Second Language: Improving Visually Grounded Speech with Semantically Similar Samples},
author = {Hyeonggon Ryu and Arda Senocak and In So Kweon and Joon Son Chung},
journal= {arXiv preprint arXiv:2303.17517},
year = {2023}
}
备注
ICASSP 2023