中文

带屏障的凸体对数凹分布抽样:一种稳健统一的 Dikin 步

数据结构与算法 2024-11-14 v2 机器学习 机器学习

摘要

我们考虑从dd维对数凹分布π(θ)exp(f(θ))\pi(\theta) \propto \exp(-f(\theta))进行抽样,其中ffLL Lipschitz 函数,受约束于包含半径为RR的球体内、带可计算自圆锋函数屏障的凸体,并以ww -warm start。我们提出一种稳健的抽样框架,在每个迭代中计算屏障函数Hessian的谱近似。我们证明,对于由nn个超平面描述的多面体,使用 Lee-Sidford 屏障函数进行抽样,在O~((d2+dL2R2)log(w/δ))\widetilde O((d^2+dL^2R^2)\log(w/\delta))步内混合,单步计算复杂度为O~(ndω1)\widetilde O(nd^{\omega-1}),其中ω2.37\omega\approx 2.37为快速矩阵乘法指数。与Mangoubi和Vishnoi的 prior work 相比,我们的方法混合时间更快,可设计一种超越对数屏障的通用软阈值 Dikin 步。我们进一步将结果推广至dd维谱单体(spectrahedron),即半正定规划受限集{xRd:i=1dxiAiC}\{x\in \mathbb{R}^d: \sum_{i=1}^d x_i A_i \succeq C \},其中A1,,Ad,CA_1,\ldots,A_d, Cn×nn\times n实对称矩阵。我们设计的步在O~((nd+dL2R2)log(w/δ))\widetilde O((nd+dL^2R^2)\log(w/\delta))步内混合,单迭代复杂度为O~(nω+n2d3ω5)\widetilde O(n^\omega+n^2d^{3\omega-5})。我们改进了Narayanan和Rakhlin的 prior work,即其混合于O~((n2d3+n2dL2R2)log(w/δ))\widetilde O((n^2d^3+n^2dL^2R^2)\log(w/\delta))步的最佳 Dikin 步。

关键词

引用

@article{arxiv.2410.05700,
  title  = {Log-concave Sampling from a Convex Body with a Barrier: a Robust and Unified Dikin Walk},
  author = {Yuzhou Gu and Nikki Lijing Kuang and Yi-An Ma and Zhao Song and Lichen Zhang},
  journal= {arXiv preprint arXiv:2410.05700},
  year   = {2024}
}

备注

NeurIPS 2024