用于自动语音识别的深度神经网络声学模型的分布式训练
分布式、并行与集群计算
2020-02-26 v1 机器学习
声音
音频与语音处理
摘要
过去十年中，由于深度学习的进展，自动语音识别（ASR）取得了巨大进步。性能的提升可归因于改进的模型与大规模训练数据。训练此类模型的关键在于采用高效的分布式学习技术。在本文中，我们综述了用于 ASR 的深度神经网络声学模型的分布式训练技术。从数据并行随机梯度下降（SGD）与 ASR 声学建模的基础出发，我们将考察各种分布式训练策略及其在高性能计算（HPC）环境中的实现，重点在于权衡通信与计算。实验在一个流行的公共基准上进行，以研究所考察策略的收敛性、加速比与识别性能。
引用
@article{arxiv.2002.10502,
title = {Distributed Training of Deep Neural Network Acoustic Models for Automatic Speech Recognition},
author = {Xiaodong Cui and Wei Zhang and Ulrich Finkler and George Saon and Michael Picheny and David Kung},
journal= {arXiv preprint arXiv:2002.10502},
year = {2020}
}
备注
Accepted to IEEE Signal Processing Magazine