具有双模式分块注意力机制的 Conformer 用于联合在线与离线 ASR
音频与语音处理
2022-06-23 v1
摘要
本文中，我们针对使用 Conformer Transducer 的双模式（即联合在线与离线）ASR，对在线注意力机制与蒸馏技术进行了深入研究。在双模式 Conformer Transducer 模型中，各层可在共享参数下以在线或离线模式运作，且训练中对从离线到在线模式应用原位知识蒸馏以提升在线准确率。在我们的研究中，我们首先展示了在 Conformer 编码器中使用分块注意力相较于带与不带前瞻的自回归注意力带来的准确率提升。此外，我们探索了知识蒸馏中在线与离线输出间不同偏移下的高效 KLD 与 1-best KLD 损失。最后，我们表明仅具有模式特定自注意力的简化双模式 Conformer 表现与同时具有模式特定卷积与归一化的版本相当。我们的实验基于两个差异很大的数据集：Librispeech 任务与一个内部医学对话语料库。结果表明，相较于使用具有相似平均前瞻的自回归注意力的双模式系统，所提使用分块注意力的双模式系统在 Librispeech 与医学任务上分别取得 5% 与 4% 的相对 WER 提升。
引用
@article{arxiv.2206.11157,
title = {Conformer with dual-mode chunked attention for joint online and offline ASR},
author = {Felix Weninger and Marco Gaudesi and Md Akmal Haidar and Nicola Ferri and Jesús Andrés-Ferrer and Puming Zhan},
journal= {arXiv preprint arXiv:2206.11157},
year = {2022}
}
备注
To appear in INTERSPEECH 2022