基于块状注意力掩码的高效非自回归解码
声音
2024-09-02 v3 人工智能
音频与语音处理
摘要
本文提出一种新颖的非自回归 (NAR) 块状注意力掩码解码器 (AMD)，用于在 Conformer 自动语音识别系统中灵活平衡性能与效率之间的权衡。AMD 在使用注意力掩码隐藏的连续输出标签块内执行并行 NAR 推理，同时在块之间进行从左到右的 AR 预测和历史上下文融合。设计了一种 beam search 算法，以动态融合 CTC、AR 解码器和 AMD 概率为特征。在 LibriSpeech-100hr 语料库上的实验表明，包含 AMD 模块的三段式解码器相对于基线 CTC+AR 解码可实现最高 1.73 倍的解码速度提升，同时在测试集上未出现统计显著的词错误率 (WER) 增加。当以相同的解码实时因子运行时，与 CTC+AR 基线相比，分别实现了最高 0.7% 和 0.3% 绝对 WER 减少（分别为 5.3% 和 6.1% 相对减少）。
引用
@article{arxiv.2406.10034,
title = {Towards Effective and Efficient Non-autoregressive Decoding Using Block-based Attention Mask},
author = {Tianzi Wang and Xurong Xie and Zhaoqing Li and Shoukang Hu and Zengrui Jin and Jiajun Deng and Mingyu Cui and Shujie Hu and Mengzhe Geng and Guinan Li and Helen Meng and Xunying Liu},
journal= {arXiv preprint arXiv:2406.10034},
year = {2024}
}
备注
5 pages, 2 figures, 2 tables, Interspeech24 conference