超越自律性核:基于历史驱动的目标实现通用图上高效非线性 MCMC
机器学习
2025-07-29 v3 机器学习
摘要
我们提出一种历史驱动目标 (HDT) 框架,用于改进离散状态空间上任意随机游走算法(如通用无向图),以高效地从目标分布 进行采样。该方法在网络科学与分布式优化中具有广泛应用前景。近期创新如自律随机游走 (SRRW) 通过基于过去访问频率修改转移核来实现接近零方差,从而优先访问稀疏状态。然而,SRRW 依赖于在每一步对所有邻居转移概率的显式计算,导致计算开销巨大;其严格依赖时可逆马尔可夫链也排除了一些先进的非可逆 MCMC 方法。为克服这些限制,HDT 通过引入历史依赖的目标分布 替代原始目标 ,其中 表示过去访问的经验分布。该设计仅需当前状态与候选状态之间的局部信息,即可实现轻量级实现,兼容可逆与非可逆 MCMC 采样器,同时保持无偏样本且目标分布为 ,并实现接近零方差性能。大量图采样实验表明,HDT consistently 提供性能提升,内存高效的最近最近未使用 (LRU) 缓存确保可扩展至大规模通用图。
引用
@article{arxiv.2505.18300,
title = {Beyond Self-Repellent Kernels: History-Driven Target Towards Efficient Nonlinear MCMC on General Graphs},
author = {Jie Hu and Yi-Ting Ma and Do Young Eun},
journal= {arXiv preprint arXiv:2505.18300},
year = {2025}
}
备注
Accepted at ICML 2025 (Oral)