模型平均预测中的双下降现象与涌现平滑
统计方法学
2026-05-14 v1
摘要
本文探讨了在自由度与样本量相当的高维线性回归中，模型平均的预测性能。我们展示了在模型平均框架内，双下降轨迹得以显现，其中该集体在插值边界附近继承了单个模型的方差爆炸。然而，我们发现，加权聚合同时触发了涌现的平滑效应，结构性地抑制了局部风险发散，表明策略性权重选择作为关键稳定机制。基于随机矩阵工具，我们推导了在嵌套模型设置下exact限制的out-of-sample风险，并对风险景观进行了全面刻画。基于这些渐近结果，我们提出了大模型平均（LaMA）方法，引入新颖准则，纳入样本内偏差和渐近out-of-sample方差，以平衡拟合精度与泛化能力。数值研究和实际数据应用表明，LaMA在高维环境中实现了卓越的预测精度。
引用
@article{arxiv.2605.13203,
title = {Double Descent and Emergent Smoothing in Model Averaging Prediction},
author = {Ke Chen and Dandan Jiang and Xinyu Zhang},
journal= {arXiv preprint arXiv:2605.13203},
year = {2026}
}