马尔可夫模型变分 tempered 后验的 PAC-Bayes 界
统计理论
2025-10-27 v1 统计理论
摘要
在科学与工程应用中，展现时间依赖性的数据集比比皆是，而马尔可夫模型代表了一种简化且流行的对时间依赖结构的刻画。本文中，我们考虑在马尔可夫模型转移核参数上施加先验分布的贝叶斯设定，并试图刻画由此产生的、通常难处理的后验分布。我们给出了对 tempered 贝叶斯后验分布的变分贝叶斯(VB)近似的 PAC-Bayesian 分析，界定了 VB 近似的模型风险。已知 tempered 后验对模型误设具有鲁棒性，且其变分近似不会遭受过度自信近似的常见问题。我们的结果将风险界与马尔可夫数据生成模型的混合与遍历性质相联系。我们通过若干马尔可夫模型示例说明了 PAC-Bayes 界，并考虑了马尔可夫模型被误设的情形。
引用
@article{arxiv.2101.05197,
title = {PAC-Bayes Bounds on Variational Tempered Posteriors for Markov Models},
author = {Imon Banerjee and Vinayak A. Rao and Harsha Honnappa},
journal= {arXiv preprint arXiv:2101.05197},
year = {2025}
}
备注
14 pages main, 24 pages appendix and citations