关于语音识别中带截断时间反向传播训练循环网络的研究

循环神经网络一直是许多语音与语言处理任务的主导模型。然而，我们对其行为及循环网络可实现的函数类知之甚少。此外，训练过程中使用的启发式方法使分析更加复杂。本文中，我们研究循环网络在语音识别背景下学习长期依赖的能力。我们考虑两种解码方法：在线解码与批解码，并展示这些解码方法所对应的函数类。随后，我们将批解码与一种流行的循环网络训练方法——截断时间反向传播（truncated backpropagation through time）——联系起来。改变解码方法限制了循环网络可用于预测的过去历史长度，使我们能够分析其记忆能力。在实验上，我们利用子音素状态、音素和词中的长期依赖，并展示诸如解码方法、前瞻、上下文帧和连续预测等设计决策如何刻画循环网络的行为。最后，我们建立了马尔可夫过程与梯度消失之间的联系。这些结果对于研究语音数据中的长期依赖以及循环网络如何学习这些性质具有启示意义。