利用门控层间协作改进基于 CTC 的 ASR 模型

Yuting Yang; Yuke Li; Binbin Du

利用门控层间协作改进基于 CTC 的 ASR 模型

计算与语言 2023-03-15 v2 声音音频与语音处理

作者: Yuting Yang , Yuke Li , Binbin Du

摘要

不带外部语言模型的基于 CTC 的自动语音识别（ASR）模型通常缺乏建模条件依赖和文本交互的能力。本文提出一种门控层间协作（GIC）机制来改进基于 CTC 的模型的性能，该机制将文本信息引入模型，从而放宽了基于 CTC 模型的条件独立性假设。具体而言，我们将词嵌入的加权和作为每个位置的文本表示，其中位置特定的权重是通过层间辅助 CTC 损失构建的 softmax 概率分布。随后通过设计门控单元将文本表示与声学特征相融合。在 AISHELL-1、TEDLIUM2 和 AIDATATANG 语料库上的实验表明，所提方法优于多个强基线。

关键词

基于 CTC 的 ASR 门控层间协作条件独立性文本表示辅助 CTC 损失语音识别

引用

@article{arxiv.2205.12462,
  title  = {Improving CTC-based ASR Models with Gated Interlayer Collaboration},
  author = {Yuting Yang and Yuke Li and Binbin Du},
  journal= {arXiv preprint arXiv:2205.12462},
  year   = {2023}
}

备注

Accepted by ICASSP 2023

利用门控层间协作改进基于 CTC 的 ASR 模型

摘要

关键词

引用

备注

相关论文