Stein 无偏风险估计与 Hyvärinen 得分匹配
统计理论
2025-09-25 v2 统计方法学
机器学习
统计理论
摘要
给定一组带有高斯噪声污染的观测信号，如何学习以最佳方式去噪它们？这一根本性问题在经验贝叶斯和生成式建模中均有出现。在经验贝叶斯中，主要方法是通过非参数最大似然估计（NPMLE），而在生成式建模中，得分匹配（SM）方法已被证明非常成功。在我们的方法中，Hyvärinen 的隐式 SM 等价于统计学中的另一经典思想——Stein 无偏风险估计（SURE）。我们重新审视 SURE 最小化，首次证明在经典经验贝叶斯设置下（具有同方差噪声），SURE 可实现对后悔信号收敛速率的近参数水平。我们还证明 SURE 训练能够在常见的误指定模型下实现对 oracle 去噪器的快速收敛速率。相比之下，NPMLE 在信号分布类别误指定时甚至可能无法收敛到 oracle 去噪器。我们展示了在包含异方差性和侧信息的设置中如何实际实现该方法，例如在机会宝盒（Opportunity Atlas）中的经济流动性估计应用中。我们的实验结果表明，在误指定情况下，SURE 训练在实践中优于 NPMLE。总体而言，我们的发现推动了 SURE/SM 作为经验贝叶斯问题中 NPMLE 的强有力替代方案，同时在理论和实践中均取得进展。
引用
@article{arxiv.2502.20123,
title = {Stein's unbiased risk estimate and Hyv\"arinen's score matching},
author = {Sulagna Ghosh and Nikolaos Ignatiadis and Frederic Koehler and Amber Lee},
journal= {arXiv preprint arXiv:2502.20123},
year = {2025}
}