得分驱逐蒙特卡罗: 面向常数内存的通用状态空间非马尔可夫采样器
机器学习
2026-05-26 v2 统计计算
机器学习
摘要
历史依赖抽样可通过抑制冗余重复访问来降低长期蒙特卡罗方差,但现有方案通常通过有限状态空间上的经验测度来编码历史,这在高维离散配置空间或连续域中难以实现。我们提出得分驱逐蒙特卡罗(Score-Repellent Monte Carlo, SRMC)框架,通过对得分评估在 上的运行平均来总结轨迹历史,其中 为得分与状态表示的维数。该历史通过指数得分倾斜转化为目标的备用函数,通过参数 控制历史驱动的排斥强度。该备用族在标准MCMC意义上无需归一化,实现通用包装器:在每一次迭代中,任何针对 的基核可在当前备用 上运行,同时在线更新历史。我们使用受控马尔可夫噪声的随机逼近方法分析历史递归与蒙特卡罗估计量的耦合演化,建立几乎sure收敛性及联合中心极限定理。进一步我们识别出当 增加时渐近协方差可降低的 regimes,比例为 ,将有限状态历史依赖抽样的近零方差效应扩展至常数内存的通用状态空间。实验在连续目标和离散能量基模型上表明,估计方差和模式覆盖率均得到改善,同时保持 的内存使用和适度的每迭代开销。
引用
@article{arxiv.2604.22948,
title = {Score-Repellent Monte Carlo: Toward Efficient Non-Markovian Sampler with Constant Memory in General State Spaces},
author = {Jie Hu and Lingyun Chen and Geeho Kim and Jinyoung Choi and Bohyung Han and Do Young Eun},
journal= {arXiv preprint arXiv:2604.22948},
year = {2026}
}
备注
Accepted at ICML 2026 (Spotlight); GitHub Repo: https://github.com/srmc-project/Score-Repellent-Monte-Carlo