通过 Coin Betting 实现隐变量模型的无调参最大似然训练
机器学习
2024-03-04 v2 机器学习
统计方法学
摘要
我们引入两种新的基于粒子的算法，通过边际最大似然估计学习隐变量模型，其中一种完全无需调参。我们的方法基于将边际最大似然估计视为一个优化问题：即一个自由能泛函的最小化。解决该问题的一种方式是对与自由能相关的梯度流进行离散化。我们研究其中一种方法，其类似于 Stein 变分梯度下降的扩展，建立了保证每次迭代自由能下降的下降引理。该方法以及任何由梯度流离散化得到的方法，必然依赖于学习率，而实践者必须仔细调参以确保以合适速率收敛。鉴于此，我们还提出另一种完全无学习率的优化自由能算法，基于凸优化中的 coin betting 技术。我们在多个数值实验(包括若干高维设定)中验证了算法的性能。我们的结果与现有基于粒子的方法具有竞争力，且无需任何超参数调优。
引用
@article{arxiv.2305.14916,
title = {Tuning-Free Maximum Likelihood Training of Latent Variable Models via Coin Betting},
author = {Louis Sharrock and Daniel Dodd and Christopher Nemeth},
journal= {arXiv preprint arXiv:2305.14916},
year = {2024}
}