基于 OpenSeq2Seq 的 NLP 与语音识别混合精度训练
计算与语言
2018-11-22 v2
摘要
我们提出 OpenSeq2Seq——一个基于 TensorFlow 的序列到序列模型训练工具包，支持分布式与混合精度训练。在机器翻译与语音识别任务上的基准测试表明，使用 OpenSeq2Seq 构建的模型以少 1.5–3 倍训练时间取得了最先进的性能。OpenSeq2Seq 目前为求解广泛任务的模型提供构建模块，包括神经机器翻译、自动语音识别与语音合成。
引用
@article{arxiv.1805.10387,
title = {Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
author = {Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
journal= {arXiv preprint arXiv:1805.10387},
year = {2018}
}
备注
Presented at Workshop for Natural Language Processing Open Source Software (NLP-OSS), co-located with ACL2018