面向端到端语音翻译的课程式预训练
计算与语言
2020-04-22 v1 声音
音频与语音处理
摘要
端到端语音翻译给编码器带来了沉重负担，因为它必须同时完成转写、理解以及学习跨语言语义。为获得强大的编码器，传统方法在 ASR 数据上对其进行预训练以捕获语音特征。然而，我们认为仅通过简单的语音识别预训练编码器是不够的，还应考虑高层语言知识。受此启发，我们提出了一种课程式预训练方法，包含用于转写学习的基础课程，以及用于理解话语和映射两种语言词汇的两门高级课程。这些课程的难度逐渐增加。实验表明，我们的课程式预训练方法在 En-De 和 En-Fr 语音翻译基准上取得了显著提升。
引用
@article{arxiv.2004.10093,
title = {Curriculum Pre-training for End-to-End Speech Translation},
author = {Chengyi Wang and Yu Wu and Shujie Liu and Ming Zhou and Zhenglu Yang},
journal= {arXiv preprint arXiv:2004.10093},
year = {2020}
}
备注
accepted by ACL2020