比例高维线性回归中朴素平均场近似的次优性
统计理论
2023-10-17 v1 统计理论
摘要
朴素平均场（NMF）近似因其在计算上赋予统计学家巨大收益而被广泛用于现代机器学习。尽管在实践中广受欢迎，高维问题的理论保证仅在强结构假设（如稀疏性）下可得。此外，现有理论常无法解释已有文献中注意到的经验观测。在本文中，我们朝解决这些问题迈出一步，推导了高维线性回归中 NMF 近似的尖锐渐近刻画。我们的结果适用于广泛的自然先验类，并允许模型失配（即底层统计模型可不同于拟合模型）。我们在 \textit{iid} 高斯设计及比例渐近机制下工作，其中特征数与观测数按成比例速率增长。作为我们渐近刻画的推论，我们确立两个具体结论：(a) 我们确立了此机制下 NMF 近似对对数配分函数的不准确性，(b) 我们提供理论结果支撑 NMF 近似在不确定性量化上可能过度自信的经验观测。我们的结果利用了高斯比较不等式理论的最新进展。据我们所知，这是这些思想首次应用于贝叶斯变分推断问题的分析。我们的理论结果得到数值实验的佐证。最后，我们相信结果可推广至非高斯设计，并提供经验证据予以支持。
引用
@article{arxiv.2310.09931,
title = {Sub-optimality of the Naive Mean Field approximation for proportional high-dimensional Linear Regression},
author = {Jiaze Qiu},
journal= {arXiv preprint arXiv:2310.09931},
year = {2023}
}