基于 GPU 的 WFST 解码器及其精确词格生成
计算与语言
2018-07-30 v3
摘要
我们描述了 Kaldi 工具包扩展的初步工作，该扩展支持图形处理单元（GPU）上的加权有限状态转录机（WFST）解码。我们将 token 重组实现为原子 GPU 操作，以完全并行化 Viterbi 束搜索，并提出一种动态负载均衡策略，以在 GPU 线程间进行更高效的 token 传递调度。我们还重新设计了精确词格生成与词格剪枝算法，以更好地利用 GPU。在 Switchboard 语料库上的实验表明，所提方法在识别与置信度度量任务中取得了相同的 1-best 结果与词格质量，同时运行速度比单进程 Kaldi 解码器快 3 至 15 倍。上述结果在不同 GPU 架构上均有报告。此外，借助序列并行与 GPU 多进程服务（MPS），我们获得了 46 倍的加速。
引用
@article{arxiv.1804.03243,
title = {A GPU-based WFST Decoder with Exact Lattice Generation},
author = {Zhehuai Chen and Justin Luitjens and Hainan Xu and Yiming Wang and Daniel Povey and Sanjeev Khudanpur},
journal= {arXiv preprint arXiv:1804.03243},
year = {2018}
}
备注
accepted by INTERSPEECH 2018