中文

超越自律性核:基于历史驱动的目标实现通用图上高效非线性 MCMC

机器学习 2025-07-29 v3 机器学习

摘要

我们提出一种历史驱动目标 (HDT) 框架,用于改进离散状态空间上任意随机游走算法(如通用无向图),以高效地从目标分布 μ\boldsymbol{\mu} 进行采样。该方法在网络科学与分布式优化中具有广泛应用前景。近期创新如自律随机游走 (SRRW) 通过基于过去访问频率修改转移核来实现接近零方差,从而优先访问稀疏状态。然而,SRRW 依赖于在每一步对所有邻居转移概率的显式计算,导致计算开销巨大;其严格依赖时可逆马尔可夫链也排除了一些先进的非可逆 MCMC 方法。为克服这些限制,HDT 通过引入历史依赖的目标分布 π[x]\boldsymbol{\pi}[\mathbf{x}] 替代原始目标 μ\boldsymbol{\mu},其中 x\mathbf{x} 表示过去访问的经验分布。该设计仅需当前状态与候选状态之间的局部信息,即可实现轻量级实现,兼容可逆与非可逆 MCMC 采样器,同时保持无偏样本且目标分布为 μ\boldsymbol{\mu},并实现接近零方差性能。大量图采样实验表明,HDT consistently 提供性能提升,内存高效的最近最近未使用 (LRU) 缓存确保可扩展至大规模通用图。

关键词

引用

@article{arxiv.2505.18300,
  title  = {Beyond Self-Repellent Kernels: History-Driven Target Towards Efficient Nonlinear MCMC on General Graphs},
  author = {Jie Hu and Yi-Ting Ma and Do Young Eun},
  journal= {arXiv preprint arXiv:2505.18300},
  year   = {2025}
}

备注

Accepted at ICML 2025 (Oral)