基于神经网络估计的 MMSE 下界及其在隐私中的应用

在给定另一随机变量 $X\in\mathbb{R}^{d}$ 时对随机变量 $Y\in\mathbb{R}$ 进行最优估计所能达到的最小均方误差（MMSE）在多种统计场景中备受关注。在估计论隐私背景下，MMSE 被提议作为一种信息泄漏度量，用以刻画 adversary 在观测到 $X$ 后估计 $Y$ 的能力。本文中，我们基于 MMSE 的两层神经网络估计器以及 $Y$ 给定 $X$ 的条件期望某一适当函数的 Barron 常数，建立了可证明的 MMSE 下界。此外，我们推导了 Barron 常数的一般上界，当 $X\in\mathbb{R}$ 经加性高斯机制后处理且 $Y$ 为二值时，该上界在大噪声 regime 下给出阶最优估计。为在某些具体应用中获得 MMSE 的数值下界，我们引入一种高效优化过程来近似所提神经网络估计器的值。总体而言，我们提供了一种获取可证明 MMSE 下界的有效机制。