神经网络中协方差传播的解析解
机器学习
2024-03-26 v1 人工智能
机器学习
摘要
神经网络的不确定性量化对于衡量深度学习系统的可靠性和鲁棒性至关重要。然而，这通常涉及成本高昂或不准确的采样方法和近似。本文提出了一种无样本矩传播技术，该技术在网络中传播均值向量和协方差矩阵，以准确表征神经网络的输入-输出分布。该技术的关键支撑在于为通过非线性激活函数（如 Heaviside、ReLU 和 GELU）的随机变量提供了协方差的解析解。通过分析训练神经网络的输入-输出分布和训练贝叶斯神经网络的实验，展示了所提技术的广泛适用性和优越性。
引用
@article{arxiv.2403.16163,
title = {An Analytic Solution to Covariance Propagation in Neural Networks},
author = {Oren Wright and Yorie Nakahira and José M. F. Moura},
journal= {arXiv preprint arXiv:2403.16163},
year = {2024}
}
备注
Accepted to AISTATS 2024