Branchformer：用于语音识别与理解的并行 MLP-注意力架构以捕获局部与全局上下文
计算与语言
2022-07-08 v1 声音
音频与语音处理
摘要
Conformer 已被证明在许多语音处理任务中是有效的。它结合了使用卷积提取局部依赖关系和使用自注意力提取全局依赖关系的优点。受此启发，我们提出了一种更灵活、可解释且可定制的编码器替代方案 Branchformer，其具有并行分支，用于在端到端语音处理中建模不同范围的依赖关系。在每个编码器层中，一个分支采用自注意力或其变体来捕获长程依赖关系，而另一个分支则利用带有卷积门控的 MLP 模块（cgMLP）来提取局部关系。我们在多个语音识别和口语理解基准上进行了实验。结果表明，我们的模型优于 Transformer 和 cgMLP。其性能也与 Conformer 取得的最先进结果相当或更优。此外，我们展示了得益于双分支架构的各种降低计算量的策略，包括在单个训练模型中拥有可变推理复杂度的能力。为合并分支而学习的权重指示了在不同层中如何利用局部和全局依赖关系，这有助于模型设计。
引用
@article{arxiv.2207.02971,
title = {Branchformer: Parallel MLP-Attention Architectures to Capture Local and Global Context for Speech Recognition and Understanding},
author = {Yifan Peng and Siddharth Dalmia and Ian Lane and Shinji Watanabe},
journal= {arXiv preprint arXiv:2207.02971},
year = {2022}
}
备注
Accepted at ICML 2022