利用多语言迁移的无监督语义声学词嵌入
音频与语音处理
2023-07-06 v1 计算与语言
摘要
声学词嵌入（AWEs）是语音片段的固定维向量表示，编码语音内容使得同一词的不同实现具有相似嵌入。本文探讨语义 AWE 建模。这些 AWE 不仅应捕捉语音，还应捕捉词的含义（类似于文本词嵌入）。我们考虑仅拥有目标语言未转写语音的场景。我们引入若干策略，利用预训练的多语言 AWE 模型——一个在除目标语言外多种语言标注数据上训练的语音 AWE 模型。我们最佳的语义 AWE 方法涉及使用多语言 AWE 模型对词片段聚类，从聚类中心导出软伪词标签，然后在软向量上训练类 Skipgram 的模型。在衡量语义的内在词相似度任务中，该多语言迁移方法优于所有先前的语义 AWE 方法。我们还首次表明——AWE 可用于下游语义按例查询搜索。
引用
@article{arxiv.2307.02083,
title = {Leveraging multilingual transfer for unsupervised semantic acoustic word embeddings},
author = {Christiaan Jacobs and Herman Kamper},
journal= {arXiv preprint arXiv:2307.02083},
year = {2023}
}
备注
Submitted to IEEE SPL