一般隐马尔可夫模型中的 Kullback-Leibler 散度与 Akaike 信息准则
统计理论
2023-03-15 v1 统计理论
摘要
为刻画一般参数化隐马尔可夫模型中的 Kullback-Leibler 散度与 Fisher 信息，本文首先证明对数似然及其导数可表示为马尔可夫迭代函数系统的加性泛函，并借此表示给出这两个量的显式刻画。此外，我们证明 Kullback-Leibler 散度可由 Fisher 信息决定的二次函数局部逼近。亦给出与 Cramér-Rao 下界及 Hájek-Le Cam 局部渐近极小极大定理相关的结果。作为应用，我们为一般隐马尔可夫模型中使用 Akaike 信息准则（AIC）进行模型选择提供了理论依据。最后，我们研究三个具体模型：阶为 的高斯向量自回归滑动平均模型、循环神经网络以及时序受限玻尔兹曼机，以阐释我们的理论。
引用
@article{arxiv.2303.07673,
title = {Kullback-Leibler Divergence and Akaike Information Criterion in General Hidden Markov Models},
author = {Cheng-Der Fuh and Chu-Lan Michael Kao and Tianxiao Pang},
journal= {arXiv preprint arXiv:2303.07673},
year = {2023}
}
备注
26 pages, 1 figure