利用多模态数据实现边缘情况鲁棒的呼号识别与理解
计算与语言
2024-12-31 v1
摘要
基于机器学习的操作辅助系统必须在广泛场景中具有鲁棒性，这在空中交通管制（ATC）领域尤为如此。架构的鲁棒性在边缘情况下尤为明显，例如由嘈杂ATC录音导致的高词错误率（WER）转录文本，或因录音剪辑导致的部分转录文本。为了提高呼号识别与理解（CRU）这一ATC语音处理核心任务的边缘情况鲁棒性，我们提出了多模态呼号-指令恢复模型（CCR）。CCR架构使边缘情况性能提升高达15%。我们在第二个提出的架构CallSBERT上证明了这一点。CallSBERT是一种CRU模型，参数更少，微调速度显著更快，且在微调过程中比CRU最先进方法更鲁棒。此外，我们证明针对边缘情况进行优化可在广泛操作范围内实现显著更高的准确率。
引用
@article{arxiv.2412.20467,
title = {Utilizing Multimodal Data for Edge Case Robust Call-sign Recognition and Understanding},
author = {Alexander Blatt and Dietrich Klakow},
journal= {arXiv preprint arXiv:2412.20467},
year = {2024}
}