基于 PaRIS 粒子 Gibbs 的状态与参数学习
统计方法学
2023-01-04 v1 机器学习
摘要
非线性状态空间模型，也称为一般隐马尔可夫模型，在统计机器学习中无处不在，是序列数据及一般序列最经典的生成模型。基于粒子的快速增量平滑器 PaRIS 是一种序贯蒙特卡洛（SMC）技术，允许在这些模型中对平滑分布下加性泛函的期望进行高效在线近似。此类期望自然出现在若干学习场景中，例如似然估计（MLE）和马尔可夫分数爬升（MSC）。PaRIS 具有线性计算复杂度、有限内存需求，并带有非渐近界、收敛结果和稳定性保证。然而，基于自归一化重要性采样，PaRIS 估计量是有偏的。我们的第一个贡献是设计一种新颖的加性平滑算法，即 Parisian 粒子 Gibbs（PPG）采样器，可视为由条件 SMC 移动驱动的 PaRIS 算法，从而对被目标量的偏差减小估计。我们以理论结果支撑 PPG 算法，包括关于偏差和方差的新界以及偏差不等式。我们的第二个贡献是将 PPG 应用于学习框架，涵盖 MLE 和 MSC 作为特例。在此背景下，我们在标准假设下建立非渐近界，突显了偏差减小和 PPG 的隐式 Rao–Blackwell 化的价值。这是该设定下此类首批非渐近结果。我们用支持我们论断的数值实验说明了理论结果。
引用
@article{arxiv.2301.00900,
title = {State and parameter learning with PaRIS particle Gibbs},
author = {Gabriel Cardoso and Yazid Janati El Idrissi and Sylvain Le Corff and Eric Moulines and Jimmy Olsson},
journal= {arXiv preprint arXiv:2301.00900},
year = {2023}
}
备注
preprint. arXiv admin note: text overlap with arXiv:2209.10351