面向具有稀有隐状态的隐马尔可夫模型的目标随机梯度马尔可夫链蒙特卡洛
机器学习
2024-07-26 v3 机器学习
摘要
隐马尔可夫模型的马尔可夫链蒙特卡洛（MCMC）算法常依赖于前向-后向采样器。这使得随着时间序列长度增加计算变慢，推动了基于子采样方法的发展。这些方法在随机梯度 MCMC 的每次迭代中使用数据的随机小子序列来近似完整后验。在由稀有隐状态导致的不平衡数据存在时，子序列常排除稀有隐状态数据，导致对稀有事件的推断与预测/检测不准确。我们提出一种目标子采样（TASS）方法，在计算与稀有隐状态相关参数的随机梯度时，对对应于稀有隐状态的观测进行过采样。TASS 使用数据的初始聚类来构造子序列权重，以降低梯度估计中的方差。这带来了改进的采样效率，尤其在稀有隐状态对应于极端观测的设置中。我们在真实与合成示例上展示了预测与推断准确性的显著提升。
引用
@article{arxiv.1810.13431,
title = {Targeted stochastic gradient Markov chain Monte Carlo for hidden Markov models with rare latent states},
author = {Rihui Ou and Deborshee Sen and Alexander L Young and David B Dunson},
journal= {arXiv preprint arXiv:1810.13431},
year = {2024}
}