隐式与显式语言模型信息对基于 DBLSTM-CTC 的手写识别影响研究
计算与语言
2020-08-05 v1 声音
音频与语音处理
摘要
带有连接主义时序分类（CTC）输出层的深度双向长短期记忆（D-BLSTM）已成为手写识别的最先进解决方案之一。众所周知，通过 CTC 目标函数训练的 DBLSTM 将同时学习用于字符建模的局部字符图像依赖关系和用于隐式语言建模的长程上下文依赖关系。在本文中，我们通过比较在解码中使用或不使用显式语言模型的性能，研究了隐式与显式语言模型信息对基于 DBLSTM-CTC 的手写识别的影响。观察到即使使用一百万行训练句子来训练 DBLSTM，使用显式语言模型仍然有帮助。为处理如此大规模的训练问题，我们开发了一个基于 GPU 的训练工具，通过基于小批量的轮次式随时间反向传播（BPTT）算法对 DBLSTM 进行 CTC 训练。
引用
@article{arxiv.2008.01532,
title = {A Study on Effects of Implicit and Explicit Language Model Information for DBLSTM-CTC Based Handwriting Recognition},
author = {Qi Liu and Lijuan Wang and Qiang Huo},
journal= {arXiv preprint arXiv:2008.01532},
year = {2020}
}
备注
Accepted by ICDAR-2015