上下文半监督学习：在 ASR 系统中利用空中监视与未转写 ATC 数据的方法
计算与语言
2021-08-30 v2 计算机视觉与模式识别
机器学习
音频与语音处理
摘要
空中交通管理，特别是空中交通管制（ATC），主要依赖空中交通管制员（ATCo）与飞行员之间的语音通信。在大多数情况下，这些语音通信遵循一套定义良好的语法，可被自动语音识别（ASR）技术所利用。用于呼叫飞机的呼号是所有 ATCo-飞行员通信的重要组成部分。我们提出一种两步方法，在半监督训练期间加入上下文知识，以降低 ASR 系统在识别包含呼号的语音片段时的错误率。首先，我们用 WFST 表示 ATCo-飞行员通信的上下文知识（即空中监视数据）。然后，在半监督学习（SSL）期间，通过第二遍解码（即格点重打分）加入上下文知识。结果表明，与独立的 SSL 相比，“未见过域”（例如监督训练数据中未出现的机场数据）进一步受益于上下文 SSL。针对该任务，我们引入呼号词错误率（CA-WER）作为评估指标，其仅评估话语中 spoken 呼号的 ASR 性能。在从 LiveATC 收集的具有挑战性的基于 ATC 的测试集上，应用 SSL 取得了 32.1% 的 CA-WER 相对提升，而在 SSL 期间加入上下文知识又带来了额外的 17.5% CA-WER 提升。
引用
@article{arxiv.2104.03643,
title = {Contextual Semi-Supervised Learning: An Approach To Leverage Air-Surveillance and Untranscribed ATC Data in ASR Systems},
author = {Juan Zuluaga-Gomez and Iuliia Nigmatulina and Amrutha Prasad and Petr Motlicek and Karel Veselý and Martin Kocour and Igor Szöke},
journal= {arXiv preprint arXiv:2104.03643},
year = {2021}
}
备注
Presented at: Interspeech conference 2021 (Brno, Czechia, August 30 - September 3)