惩罚非参数回归的场方程
统计理论
2025-03-20 v1 偏微分方程分析
泛函分析
统计理论
摘要
我们通过变分法的视角来审视惩罚风险。考虑由适应度项（如 MSE）和基于梯度的惩罚组成的风险。在建立仅涉及一阶导数的风险最小化问题的欧拉-拉格朗日场方程作为系统方法之后，我们进一步以均方误差被回归函数梯度的 L2 范数平方的积分所惩罚为例来说明该方法。该风险的最小化问题由一个二阶非齐次偏微分方程的解给出，其中非齐次项为目标变量在给定特征下的条件期望。我们讨论了场方程的性质及其实际意义，这些也适用于线性模型的经典岭惩罚，并将我们的发现嵌入到现有文献中。特别地，我们发现如果将特征视为确定且均匀分布，可以恢复用于图像去噪的 Rudin-Osher-Fatemi 模型。最后，我们概述了若干未来研究方向。
引用
@article{arxiv.2503.14763,
title = {The Field Equations of Penalized non-Parametric Regression},
author = {Sven Pappert},
journal= {arXiv preprint arXiv:2503.14763},
year = {2025}
}