GPU 加速的前向后向算法及其在无格 MMI 中的应用
分布式、并行与集群计算
2021-12-02 v1 计算与语言
摘要
我们提出将前向后向算法表示为特定半环上稀疏矩阵间的运算。这一新视角自然导出了一种对 GPU 友好的算法,易于在 Julia 或任何原生支持半环代数的编程语言中实现。我们使用这一新实现以 LF-MMI 目标函数训练 TDNN,并将我们系统的训练时间与 PyChain(一种近期提出的 LF-MMI 损失的 C++/CUDA 实现)进行比较。我们的实现约快两倍,且无需使用如“leaky-HMM”之类的任何近似。
引用
@article{arxiv.2112.00709,
title = {GPU-Accelerated Forward-Backward algorithm with Application to Lattice-Free MMI},
author = {Lucas Ondel and Léa-Marie Lam-Yee-Mui and Martin Kocour and Caio Filippo Corro and Lukáš Burget},
journal= {arXiv preprint arXiv:2112.00709},
year = {2021}
}
备注
Submitted to ICASSP 2022