以注意力建模推进连接时序分类
计算与语言
2018-03-16 v1
摘要
在本研究中，我们提出通过在连接时序分类（CTC）框架内直接引入注意力建模来推进全神经网络语音识别。具体而言，我们利用时间卷积特征导出新的上下文向量，将注意力作为 CTC 网络的一部分进行建模。为进一步提升注意力建模，我们利用从一个代表隐式语言模型的网络中提取的内容信息。最后，我们引入基于向量的注意力权重，将其应用于跨时间及其各分量的上下文向量上。我们在 3400 小时的 Microsoft Cortana 语音助手任务上评估我们的系统，并表明所提模型一致优于基线模型，实现了约 20% 的词错误率相对降低。
引用
@article{arxiv.1803.05563,
title = {Advancing Connectionist Temporal Classification With Attention Modeling},
author = {Amit Das and Jinyu Li and Rui Zhao and Yifan Gong},
journal= {arXiv preprint arXiv:1803.05563},
year = {2018}
}
备注
Accepted at ICASSP 2018