隐马尔可夫链、熵前向-后向算法与词性标注

在自然语言处理（NLP）问题中，考虑观测的特征（亦称 features）至关重要。经典的隐马尔可夫链（HMC）模型结合经典前向-后向概率，除在独立条件下外，无法处理任意大小的词缀等任意特征。二十年来，这一缺陷促使了其他序列模型的发展，始于最大熵马尔可夫模型（MEMM），其优雅地集成了任意特征。更普遍地，这导致在 NLP 中忽视了 HMC。本文中，我们表明问题并非源于 HMC 本身，而是其恢复算法的计算方式。我们提出了一种基于原始熵前向与熵后向（EFB）概率计算 HMC 恢复的新方法。我们的方法允许在 HMC 框架中以与 MEMM 框架相同的方式考虑特征。我们在词性标注（Part-Of-Speech Tagging）中展示了使用 EFB 的 HMC 的效率，表明其优于基于 MEMM 的恢复。我们还指出，作为一种展望，带有 EFB 的 HMC 如何可能作为循环神经网络（Recurrent Neural Networks）的替代方案，以深度架构处理序列数据。