基于稠密 ReLU 网络的置信区间构建与条件方差估计
机器学习
2025-01-03 v2 机器学习
摘要
本文解决了基于稠密 ReLU 激活函数网络进行非参数回归中的条件方差估计和置信区间构建问题。我们提出了基于残差的条件方差估计框架，在异方差和同方差情形下分别推导了方差估计的非渐近界限。我们放宽了子高斯噪声假设，使所得界限能够适用于亚指数噪声及更广泛情形。基于此，对于 ReLU 神经网络估计器，我们推导了其条件均值和方差估计的非渐近界限，代表着首次针对 ReLU 网络进行方差估计的结果。此外，我们发展了一种基于 ReLU 网络的稳健 bootstrap 方法（Efron, 1992），用于构建对真实均值的置信区间，并给出了覆盖概率的理论保证，为深度学习环境下的不确定性量化和可靠置信区间构建带来了重大进展。
引用
@article{arxiv.2412.20355,
title = {Confidence Interval Construction and Conditional Variance Estimation with Dense ReLU Networks},
author = {Carlos Misael Madrid Padilla and Oscar Hernan Madrid Padilla and Yik Lun Kei and Zhi Zhang and Yanzhen Chen},
journal= {arXiv preprint arXiv:2412.20355},
year = {2025}
}