基于连接时序分类的循环神经网络在线序列训练
机器学习
2017-02-03 v5 神经与进化计算
摘要
基于连接时序分类（CTC）的循环神经网络（RNNs）监督序列训练已在包括端到端语音和手写字符识别在内的许多机器学习领域取得巨大成功。然而，对于CTC训练，需要按输入序列的长度展开（或 unfolded）RNN。这种展开需要大量内存，并阻碍在线学习或自适应的小足迹实现。此外，训练序列的长度通常不均匀，这使得在共享内存模型（如图形处理单元（GPUs））上多序列的并行训练效率低下。在本工作中，我们引入一种基于期望最大化（EM）的在线CTC算法，其使单向RNN能够学习比展开长度更长的序列。这些RNN也可被训练以处理无限长输入序列而无需预分割或外部重置。此外，所提方法允许在GPU上进行高效并行训练。为评估，分别在TIMIT和华尔街日报（WSJ）语料库上给出音素识别和端到端语音识别示例。我们的在线模型在通过拼接TIMIT核心测试集中所有192条语句生成的极长输入序列上达到20.7%的音素错误率（PER）。在WSJ上，网络仅以64次展开即可训练，同时牺牲4.5%的相对词错误率（WER）。
引用
@article{arxiv.1511.06841,
title = {Online Sequence Training of Recurrent Neural Networks with Connectionist Temporal Classification},
author = {Kyuyeon Hwang and Wonyong Sung},
journal= {arXiv preprint arXiv:1511.06841},
year = {2017}
}
备注
Final version: Kyuyeon Hwang and Wonyong Sung, "Sequence to Sequence Training of CTC-RNNs with Partial Windowing," Proceedings of The 33rd International Conference on Machine Learning, pp. 2178-2187, 2016. URL: http://www.jmlr.org/proceedings/papers/v48/hwanga16.html