隐藏马尔可夫模型参数估计：EM 与拟牛顿方法的比较及一种新型混合算法
最优化与控制
2024-09-05 v1 统计计算
摘要
隐藏马尔可夫模型（Hidden Markov Model, HMM）模型一系列受隐藏（或潜在）状态驱动的观察序列，这些状态遵循马尔可夫链。这些模型广泛应用于生态学、语音识别和基因组学等多个领域。HMM 的参数估计通常使用 Baum-Welch 算法，这是一种期望最大化（EM）算法的特例。虽然该方法保证收敛到局部最大值，但其收敛速度通常较慢。替代方法，如使用拟牛顿方法（如 L-BFGS-B）直接最大化似然函数，可能提供更快的收敛速度，但由于难以处理参数空间限制的问题，其实现更为复杂。我们提出一种新型混合算法 QNEM，将 Baum-Welch 与拟牛顿算法相结合。QNEM 旨在通过根据似然函数的凸性在不同方法之间切换，来利用两种算法的优势。我们对 QNEM、Baum-Welch 算法、一种称为 SQUAREM（Varadhan, 2008, Scand J Statist）的 EM 加速算法以及 L-BFGS-B 拟牛顿方法进行了比较分析，将这些算法应用于四个不同模型构建的示例。我们使用不同算法对每个模型的参数进行估计，并评估其性能。我们的结果表明，最佳执行算法取决于所考虑的模型。QNEM 在总体上表现良好，始终比 L-BFGS-B 更快或等价。Baum-Welch 和 SQUAREM 在具有多个最优值的情形下的某些场景中比拟牛顿和 QNEM 更快。总之，QNEM 提供了现有算法的有前景的替代方案。
引用
@article{arxiv.2409.02477,
title = {Parameter estimation of hidden Markov models: comparison of EM and quasi-Newton methods with a new hybrid algorithm},
author = {Sidonie Foulon and Thérèse Truong and Anne-Louise Leutenegger and Hervé Perdry},
journal= {arXiv preprint arXiv:2409.02477},
year = {2024}
}