Hot DoG：无需调参的核心集 MCMC
统计计算
2025-06-23 v2 机器学习
摘要
贝叶斯核心集是用于替代完整数据集中小规模加权子集，以减少推断计算成本的技术。当前最先进的核心集构建算法——Coreset MCMC——使用针对核心集后验的自适应马尔可夫链的抽样来通过随机梯度优化训练核心集权重。然而，所构建核心集的质量及其后验近似质量对随机优化学习率敏感。在本工作中，我们提出一种无需用户调参的随机梯度优化程序——Hot-start Distance over Gradient(Hot DoG)，用于在Coreset MCMC中训练核心集权重。我们对Hot DoG产生的核心集权重收敛性进行了理论分析。我们还提供的实证结果表明，Hot DoG提供的后验近似质量高于其他无需调参的随机梯度方法，性能与 optimally-tuned ADAM相当。
引用
@article{arxiv.2410.18973,
title = {Tuning-Free Coreset Markov Chain Monte Carlo via Hot DoG},
author = {Naitong Chen and Jonathan H. Huggins and Trevor Campbell},
journal= {arXiv preprint arXiv:2410.18973},
year = {2025}
}
备注
Accepted to the 41st Conference on Uncertainty in Artificial Intelligence (UAI 2025)