粒子平滑变分目标

Antonio Khalil Moretti; Zizhao Wang; Luhuan Wu; Iddo Drori; Itsik Pe'er

粒子平滑变分目标

机器学习 2019-09-24 v1 机器学习

作者: Antonio Khalil Moretti , Zizhao Wang , Luhuan Wu , Iddo Drori , Itsik Pe'er

摘要

近期一系列工作聚焦于使用序贯蒙特卡洛(SMC)构造滤波分布的变分族。受此启发,我们引入粒子平滑变分目标(SVO),一种通过子采样过程定义的新型反向模拟技术与平滑近似后验。SVO 扩充了提议的支持并提升了粒子多样性。近期文献认为,由于梯度估计器的信噪比(SNR)以 $\mathcal{O}(1/\sqrt{K})$ 的速率下降,增加样本数 K 以获得更紧的变分界可能损害提议学习。作为第二项贡献,我们对滤波 SMC 中的 SNR 进行了理论与实证分析,这促使我们选用有偏梯度估计器。我们证明,通过从梯度估计中丢弃类别项或使用 Gumbel-Softmax 引入偏差,可缓解对 SNR 的不利影响。我们将 SVO 应用于三个非线性潜动力学任务,并提供统计量以严格量化滤波与平滑目标的预测。在三个复杂度递增的非线性系统上,当给定较少蒙特卡洛样本时,SVO 始终优于滤波目标。

关键词

粒子平滑变分目标序贯蒙特卡洛反向模拟信噪比潜动力学

引用

@article{arxiv.1909.09734,
  title  = {Particle Smoothing Variational Objectives},
  author = {Antonio Khalil Moretti and Zizhao Wang and Luhuan Wu and Iddo Drori and Itsik Pe'er},
  journal= {arXiv preprint arXiv:1909.09734},
  year   = {2019}
}

备注

13 pages, 5 figures

粒子平滑变分目标

摘要

关键词

引用

备注

相关论文