基于图神经网络编码的树约束指针生成器用于上下文语音识别
声音
2022-07-05 v1 计算与语言
音频与语音处理
摘要
将作为上下文知识获得的偏置词融入是许多自动语音识别（ASR）应用的关键。本文提出在树约束指针生成器（TCPGen）组件中使用图神经网络（GNN）编码，用于端到端上下文 ASR。通过用基于树的 GNN 对前缀树中的偏置词进行编码，在端到端 ASR 解码中，通过在每个树节点融入以其为根的所有树分支上词片的信息，实现了对未来词片的预见，从而允许更准确地预测偏置词的生成概率。系统在 Librispeech 语料库上使用模拟偏置任务进行了评估，并在 AMI 语料库上通过提出一种新颖的视觉接地上下文 ASR 流程（从每次会议的幻灯片中提取偏置词）进行了评估。结果表明，带有 GNN 编码的 TCPGen 相比原始 TCPGen 在偏置词上实现了约进一步 15% 的相对 WER 降低，且解码计算成本增加可忽略不计。
引用
@article{arxiv.2207.00857,
title = {Tree-constrained Pointer Generator with Graph Neural Network Encodings for Contextual Speech Recognition},
author = {Guangzhi Sun and Chao Zhang and Philip C. Woodland},
journal= {arXiv preprint arXiv:2207.00857},
year = {2022}
}
备注
To appear in Interspeech 2022. arXiv admin note: text overlap with arXiv:2205.09058