神经网络随机输入输出分布的精确上下界
机器学习
2025-06-11 v2 统计方法学
机器学习
摘要
我们推导了神经网络 (NN) 在其整个支撑域上受噪声 (随机) 输入影响下的输出累积分布函数 (cdf) 的精确上界和下界。上界和下界在分辨率增加时收敛于真实 cdf。我们的方法适用于任何使用连续单调分段二次可微激活函数（如 ReLU、tanh 和 softmax）的前馈 NN，以及卷积 NN，这些在竞争方法的范围之外。我们方法的新颖性和工具是用 ReLU NN 对一般 NN 进行上界。随后，这些基于 ReLU 的上界用于推导 NN 输出 cdf 的上界和下界。实验表明,我们的方法提供了对预测输出分布在其支撑域上的保证性上界,从而提供了精确的误差保证,与竞争方法不同。
引用
@article{arxiv.2502.11672,
title = {Exact Upper and Lower Bounds for the Output Distribution of Neural Networks with Random Inputs},
author = {Andrey Kofnov and Daniel Kapla and Ezio Bartocci and Efstathia Bura},
journal= {arXiv preprint arXiv:2502.11672},
year = {2025}
}
备注
Forthcoming at the 42nd International Conference on Machine Learning (ICML 2025); 9+16 pages