高维非凸广义线性模型的渐近分析：复制公式的证明
摘要
广义线性模型(GLMs) 在高维情形下的优化行为的解析表征是统计和概率领域近年来的核心焦点。虽然凸情况下的问题，如 LASSO、脊回归和 logistic 回归，已通过多种技术广泛研究，但非凸情况仍鲜有了解，尽管其重要性不言而喻。统计物理框架提供了对高维优化问题行为的精彩预测，但严格建立其在非凸问题上的有效性一直是根本性挑战。本文通过发展系统性框架来回应这一挑战，严格证明了非凸 GLMs 的复制对称公式，并精确确定这些公式有效性的条件。惊人的是，严格的复制对称预测恰好与物理学家的 conjectures 完全一致，包括所谓的 replicon 条件。我们方法的原创性在于将两个强大的理论工具相连接：Gaussian Min-Max 定理用于提供精确下界，Approximate Message Passing(AMP)被证明能够实现这些下界。我们通过显著应用展示了该框架的实用性：(i) 通过证明在 受污染数据模型下 Tukey loss 的最优性，优于常用的 Huber loss；(ii) 确立在高维非凸回归中负正则化的最优性；(iii) 描述化简 AMP 算法的性能极限。通过严格验证非凸情形下的统计物理预测，本文旨在为分析超越凸 regime 的日益复杂的优化景观开辟新路径。
引用
@article{arxiv.2502.20003,
title = {Asymptotics of Non-Convex Generalized Linear Models in High-Dimensions: A proof of the replica formula},
author = {Matteo Vilucchio and Yatin Dandi and Matéo Pirio Rossignol and Cedric Gerbelot and Florent Krzakala},
journal= {arXiv preprint arXiv:2502.20003},
year = {2026}
}
备注
In this revised version assumptions have been relaxed, and the analysis now relies on the most general condition ensuring the existence of the proximal operators. Several other minor edits and clarifications were also made