监督式深度学习中的训练模型是条件风险最小化器
机器学习
2022-02-09 v1 计算机视觉与模式识别
摘要
我们证明了监督式深度学习中的训练模型对每个输入最小化条件风险（定理2.1）。该性质为理解训练模型的行为提供了洞见，并在某些情况下建立了监督学习与无监督学习之间的联系。此外，当标签难以处理但可写为条件风险最小化器时，我们证明了带有可获取标签的原始监督学习问题的一个等价形式（定理2.2）。我们展示了许多现有工作，如Noise2Score、Noise2Noise和分数函数估计，均可由我们的定理解释。此外，我们利用定理2.1推导了带噪声标签的分类问题的一个性质，并使用MNIST数据集进行了验证。进而，我们基于定理2.2提出了一种估计图像超分辨率中不确定性的方法，并使用ImageNet数据集进行了验证。我们的代码已在github上公开。
引用
@article{arxiv.2202.03674,
title = {Trained Model in Supervised Deep Learning is a Conditional Risk Minimizer},
author = {Yutong Xie and Dufan Wu and Bin Dong and Quanzheng Li},
journal= {arXiv preprint arXiv:2202.03674},
year = {2022}
}