口译员理解你的语义：由语音翻译辅助的端到端口语理解
计算与语言
2023-10-18 v2 声音
音频与语音处理
摘要
即便借助当前文本与语音上的大型预训练语言模型，端到端口语理解（SLU）仍难以实现，尤其在多语言情形下。机器翻译已被确立为文本上一种强大的预训练目标，因其使模型能够捕捉输入话语的高层语义及不同语言间的关联，而这正是作用于较低层声学帧的语音模型所期望的。受跨语言 SLU 任务特别驱动，我们证明语音翻译（ST）任务是在单语与跨语言场景下为端到端 SLU 预训练语音模型的一种良好手段。通过引入 ST，我们的模型在单语与多语言意图分类以及使用 SLURP、MINDS-14 和 NMSQA 基准的口语问答上达到高于基线的性能。为验证方法有效性，我们还从合成与真实来源创建了用于语音摘要以及从英语到低资源/零样本迁移至法语或西班牙语的新基准数据集。我们进一步展示了为更好下游性能保留 ST 预训练任务知识的价值，可能使用贝叶斯迁移正则化器。
引用
@article{arxiv.2305.09652,
title = {The Interpreter Understands Your Meaning: End-to-end Spoken Language Understanding Aided by Speech Translation},
author = {Mutian He and Philip N. Garner},
journal= {arXiv preprint arXiv:2305.09652},
year = {2023}
}
备注
16 pages, 3 figures; accepted by Findings of EMNLP 2023