RNN 转导器的词级置信度估计
计算与语言
2021-10-29 v1 声音
音频与语音处理
摘要
在医疗转录等应用中，置信度估计是一项常被要求的功能，因为错误可能影响患者护理，而置信度估计可用于提醒医疗专业人员核查识别中的潜在错误。本文提出了一种专为基于循环神经网络转导器（RNN-T）的自动语音识别（ASR）系统设计的轻量级神经置信度模型。与其他现有方法相比，我们的模型利用了：(a) 与已识别词相关的时间信息，这降低了计算复杂度；(b) 一种用于子词与词序列之间映射的简单而巧妙的技巧。该映射解决了非唯一分词和词元删除问题，同时放大了易混淆词之间的差异。通过在两个不同长音频测试集上的大量实证评估，我们证明该模型达到了 0.4 归一化交叉熵（NCE）和 0.05 期望校准误差（ECE）的性能。它在不同的 ASR 配置下均具有鲁棒性，包括目标类型（字位 vs. 语素）、流量条件（流式 vs. 非流式）和编码器类型。我们进一步讨论了反映实际应用的评估指标的重要性，并强调需要进一步改进负精确率（NPV）和真负率（TNR）的曲线下面积（AUC）。
引用
@article{arxiv.2110.15222,
title = {Word-level confidence estimation for RNN transducers},
author = {Mingqiu Wang and Hagen Soltau and Laurent El Shafey and Izhak Shafran},
journal= {arXiv preprint arXiv:2110.15222},
year = {2021}
}