中文

利用 MCMC 迹间方差方法提升均值估计效率:DynaMITE

数据结构与算法 2021-08-06 v5

摘要

我们为 MCMC 均值估计引入一种新的统计度量——迹间方差 trv(τrel)(M,f){\rm trv}^{(\tau_{rel})}({\cal M},f),它依赖于马尔可夫链 M{\cal M} 和函数 f:S[a,b]f:S\to [a,b]。迹间方差可从观测数据高效估计,并带来更高效的 MCMC 均值估计器。先前的 MCMC 均值估计器以 τmix\tau_{mix}τrel\tau_{rel} 的上界以及通常还有平稳方差作为输入,其性能高度依赖这些界是否紧。相反,我们提出 DynaMITE,它动态调整样本量,对输入的 τrel\tau_{rel} 上界宽松度较不敏感,且不需要 vπv_{\pi} 的界。仅接收 τrel\tau_{rel} 的上界 Trel{\cal T}_{rel},DynaMITE 在 O~(TrelRε+τreltrv(τrel)ε2)\tilde{\cal{O}}\bigl(\smash{\frac{{\cal T}_{rel} R}{\varepsilon}}+\frac{\tau_{rel}\cdot {\rm trv}^{(\tau{{rel}})}}{\varepsilon^{2}}\bigr) 步内估计 ff 的均值,而无需平稳方差 vπv_{\pi} 或迹间方差 trv(τrel){\rm trv}^{(\tau rel)} 的先验界。因此我们对 Tmix{\cal T}_{mix} 的紧度依赖最小,因为当 ε0\varepsilon \to 0 时复杂度由 τreltrv(τrel)\tau_{rel}\rm{trv}^{(\tau{rel})} 主导。需注意,对 τrel\tau_{\rm rel} 定界已知极为困难,但 DynaMITE 仅利用迹间方差的性质,便将其对 Trel{\cal T}_{rel} 的主要依赖降至 τrel\tau_{rel}。为将我们的方法与已知方差感知界比较,我们证明 trv(τrel)(M,f)vπ{\rm trv}^{(\tau{rel})}({\cal M},f) \leq v_{\pi}。此外,我们证明当 ff 的像在 M{\cal M} 的迹上(半)对称分布时,有 trv(τrel)(M,f)=o(vπ(f)){\rm trv}^{({\tau{rel}})}({\cal M},f)=o(v_{\pi}(f)),故 DynaMITE 在这些情况下优于先前方法。

关键词

引用

@article{arxiv.2011.11129,
  title  = {Making mean-estimation more efficient using an MCMC trace variance approach: DynaMITE},
  author = {Cyrus Cousins and Shahrzad Haddadan and Eli Upfal},
  journal= {arXiv preprint arXiv:2011.11129},
  year   = {2021}
}