一种完全可微的集束搜索解码器
计算与语言
2019-02-19 v1
摘要
我们引入一种全新的完全可微的集束搜索解码器，使得在训练时可通过推理过程进行优化。我们的解码器允许组合以不同粒度运行的模型（例如声学模型与语言模型）。当目标序列与输入序列未对齐时，可通过考虑两者间的所有可能对齐来使用它。我们通过将方法应用于语音识别、联合训练声学与词级语言模型，展示了其可扩展性。该系统为端到端，梯度从词级转写文本流经整个架构。近期研究已表明，具有注意力机制的深度神经网络足以从最终转写文本成功训练声学模型，同时隐式地学习语言模型。相反，我们展示可以判别性地联合训练声学模型与显式的、可能预训练的语言模型。
引用
@article{arxiv.1902.06022,
title = {A Fully Differentiable Beam Search Decoder},
author = {Ronan Collobert and Awni Hannun and Gabriel Synnaeve},
journal= {arXiv preprint arXiv:1902.06022},
year = {2019}
}