通过混合化提升 LSTM 与 HMM 模型的性能

Larkin Liu; Yu-Chung Lin; Joshua Reid

通过混合化提升 LSTM 与 HMM 模型的性能

机器学习 2021-03-02 v4 计算与语言统计计算机器学习

作者: Larkin Liu , Yu-Chung Lin , Joshua Reid

摘要

基于深度神经网络与传统随机建模的语言模型在近来已变得极具功能性且高效。本文对这两类语言建模进行了一般性综述。我们研究了隐马尔可夫模型 (HMM) 与长短期记忆模型 (LSTM) 的有效性。我们分析了两种模型共有的隐状态结构，并对 HMM 与 LSTM 共有的隐状态结构相似性进行了分析。针对不同数量的隐状态，我们将 LSTM 的预测精度与隐状态输出同 HMM 进行了比较。本文论证了复杂度较低的 HMM 可作为 LSTM 模型的恰当近似。

关键词

语言模型隐马尔可夫模型长短期记忆混合化隐状态预测精度

引用

@article{arxiv.1907.04670,
  title  = {Improving the Performance of the LSTM and HMM Model via Hybridization},
  author = {Larkin Liu and Yu-Chung Lin and Joshua Reid},
  journal= {arXiv preprint arXiv:1907.04670},
  year   = {2021}
}

备注

Working Manuscript

通过混合化提升 LSTM 与 HMM 模型的性能

摘要

关键词

引用

备注

相关论文