中文

当训练语言与目标零资源语言相关时,声学词嵌入的多语迁移效果提升

计算与语言 2021-06-25 v1 声音 音频与语音处理

摘要

声学词嵌入模型将变时长语音片段映射为固定维向量,从而实现高效的语音搜索与发现。已有研究探讨了在目标语言无标注数据的零资源设定下如何获取嵌入。当前最佳方法采用迁移学习:利用多种资源充足语言的标注数据训练单一有监督多语模型,随后将其应用于目标零资源语言(不进行微调)。然而,具体训练语言的选择如何影响下游性能仍不清楚。具体而言,本文探究使用与目标语言相关的训练语言是否有益。利用南部非洲十一种语言的数据,我们在控制每语言数据量的前提下,实验了添加来自不同语系的语言数据。在词辨别与按例查询搜索评测中,我们表明使用同语系语言训练可带来大幅提升。通过更细粒度分析,我们发现仅使用单一相关语言训练即可带来最大增益;同时还发现添加不相关语言数据通常不会损害性能。

关键词

引用

@article{arxiv.2106.12834,
  title  = {Multilingual transfer of acoustic word embeddings improves when training on languages related to the target zero-resource language},
  author = {Christiaan Jacobs and Herman Kamper},
  journal= {arXiv preprint arXiv:2106.12834},
  year   = {2021}
}

备注

Accepted to Interspeech 2021