理解深度异方差回归的病理现象

深度、过参数化回归模型因其过拟合倾向而臭名昭著。在异方差模型中这一问题更加严重，因为这类模型对每个数据点同时预测均值和残差噪声。在一个极端，这些模型完美拟合所有训练数据，完全消除残差噪声；在另一个极端，它们在预测恒定且无信息量的均值的同时过拟合残差噪声。我们观察到缺乏中间地带，表明存在依赖于模型正则化强度的相变。通过拟合大量具有不同均值和方差正则化的模型，实证验证支持了这一猜想。为解释该相变，我们基于统计场论建立了理论框架，与实验在定性上一致。作为一个实际结果，我们的分析将超参数调优从二维搜索简化为单维搜索，大幅降低了计算负担。在包括 UCI 数据集和大规模 ClimSim 气候数据集在内的多样数据集上的实验表明，在各种校准任务中性能显著提升。