低温 MCMC 阈值的研究：稀疏张量 PCA、稀疏回归及几何规则
统计理论
2025-07-10 v3 数据结构与算法
概率论
统计理论
摘要
近年来，针对多个统计参数估计任务，研究了特定类别计算高效估计器的性能，包括低次多项式、谱方法等估计器。尽管如此，针对重要的 MCMC 方法类，的理解仍相当不完善。例如，对于许多感兴趣的模型，甚至零温度（类似贪婪的）MCMC 方法的性能仍是难以把握的。本文提供了一个易于检验的条件，在该条件下，低温 Metropolis 链以高概率在多项式时间内最大化后验。该结果具有普适性，本文利用它为两个经典的稀疏估计任务（稀疏张量 PCA 模型和稀疏回归）获得积极的 MCMC 结果。有趣的是，在两种情况下，我们还利用重叠间隙属性（Overlap Gap Property）框架（Gamarnik, Zadik AoS '22）来证明结果的紧致性：没有低温局部 MCMC 方法能实现更好的性能。特别是，我们的工作为两种稀疏模型识别了“低温（局部）MCMC 阈值”。有趣的是，在稀疏张量 PCA 模型中，我们的结果表明，低温局部 MCMC 方法在与其他研究的时间高效方法（如低次多项式类）相比时表现显著不足。
引用
@article{arxiv.2408.00746,
title = {On the Low-Temperature MCMC threshold: the cases of sparse tensor PCA, sparse regression, and a geometric rule},
author = {Zongchen Chen and Conor Sheehan and Ilias Zadik},
journal= {arXiv preprint arXiv:2408.00746},
year = {2025}
}
备注
Improved the sparse regression positive MCMC results and updated the literature review