两遍级联编码器 ASR 模型中的端到端分割
计算与语言
2023-03-07 v2
摘要
我们探索将神经分割器与两遍级联编码器 ASR 统一为单一模型。一个关键挑战是让分割器（实时运行，与解码器同步）能够最终确定第二遍（滞后实时 900 毫秒运行），而不会在推理过程中引入用户可感知的延迟或删除错误。我们提出一种设计，将神经分割器与因果第一遍解码器集成，以实时发出段结束（EOS）信号。该 EOS 信号随后用于最终确定非因果第二遍。我们尝试了不同的第二遍最终确定方式，发现一种新颖的虚拟帧注入策略能够同时实现高质量的第二遍结果和低最终确定延迟。在一项真实世界的长视频字幕任务（YouTube）上，与使用相同级联编码器的基线 VAD 分割器相比，我们取得了 2.4% 的相对词错误率（WER）降低和 140 毫秒的 EOS 延迟增益。
引用
@article{arxiv.2211.15432,
title = {E2E Segmentation in a Two-Pass Cascaded Encoder ASR Model},
author = {W. Ronny Huang and Shuo-Yiin Chang and Tara N. Sainath and Yanzhang He and David Rybach and Robert David and Rohit Prabhavalkar and Cyril Allauzen and Cal Peyser and Trevor D. Strohman},
journal= {arXiv preprint arXiv:2211.15432},
year = {2023}
}
备注
ICASSP 2023