通过带声学地标的多任务学习改进资源匮乏语言的ASR
计算与语言
2018-05-16 v1 声音
音频与语音处理
摘要
Furui首先证明辅音与元音的身份均可从C-V过渡中感知；随后Stevens提出声学地标是语音感知的主要线索，而稳态区域是次要或补充性的。声学地标在感知上显著，即便在不懂的语言中亦然，且已证明非该语言使用者可识别诸如地标主要发音部位等特征。这些因素提示了一种开发语言无关自动语音识别（ASR）的策略：地标有可能从适当标注的语料库中一次性学习并快速应用于许多其他语言。本文提出在多任务学习（MTL）中以地标作为辅助任务来增强神经网络的跨语言可迁移性。该网络在具有音素与地标标注的资源丰富源语言（英语）上训练，然后适配到仅具词标注的资源匮乏目标语言（Iban）。地标任务MTL使源语言音素错误率相对降低2.9%，并使目标语言词错误率降低1.9%–5.9%（取决于目标语言训练数据量）。这些结果表明，地标任务MTL使DNN学习了有益于跨语言适配的隐藏节点特征。
引用
@article{arxiv.1805.05574,
title = {Improved ASR for Under-Resourced Languages Through Multi-Task Learning with Acoustic Landmarks},
author = {Di He and Boon Pang Lim and Xuesong Yang and Mark Hasegawa-Johnson and Deming Chen},
journal= {arXiv preprint arXiv:1805.05574},
year = {2018}
}
备注
Submitted in Interspeech2018