中文

高斯噪声中条件均值估计量的一般导数恒等式及其应用

信息论 2021-04-06 v1 math.IT 统计理论 机器学习 统计理论

摘要

考虑信道 Y=X+N{\bf Y}={\bf X}+ {\bf N},其中 X{\bf X}nn 维随机向量,N{\bf N} 为具有协方差矩阵 KN{\bf \mathsf{K}}_{\bf N} 的高斯向量。本文所考察的对象是给定 Y=y{\bf Y}={\bf y}X{\bf X} 的条件均值,即 yE[XY=y]{\bf y} \to E[{\bf X}|{\bf Y}={\bf y}]。文献中若干恒等式将 E[XY=y]E[{\bf X}|{\bf Y}={\bf y}] 与其他量如条件方差、得分函数和高阶条件矩相联系。本文旨在提供这些恒等式的统一视角。在第一部分中,推导了条件均值的一般导数恒等式。具体而言,对于马尔可夫链 UXY{\bf U} \leftrightarrow {\bf X} \leftrightarrow {\bf Y},证明了 E[UY=y]E[{\bf U}|{\bf Y}={\bf y}] 的雅可比由 KN1Cov(X,UY=y){\bf \mathsf{K}}_{{\bf N}}^{-1} {\bf Cov} ( {\bf X}, {\bf U} | {\bf Y}={\bf y}) 给出。在第二部分中,通过对 U{\bf U} 的不同选取,利用新恒等式推广了许多已知恒等式并推导了一些新恒等式。首先,给出了 Hatsel 和 Nolte 条件方差恒等式的简单证明。其次,提供了 Jaffer 递归恒等式的简单证明。第三,展示了条件累积量与条件期望之间的新联系。特别地,证明了 E[XY=y]E[X|Y=y] 的第 kk 阶导数是第 (k+1)(k+1) 阶条件累积量。第三部分考虑了一些应用。在第一个应用中,推导了 E[XY=y]E[X|Y=y] 的幂级数与复合逆。在第二个应用中,推导了估计误差 (XE[XY])(X-E[X|Y]) 的分布。在第三个应用中,我们从 i.i.d. 序列 Y1,...,YnY_1,...,Y_n 构造了条件累积量的一致估计量(经验贝叶斯估计量)。

关键词

引用

@article{arxiv.2104.01883,
  title  = {A General Derivative Identity for the Conditional Mean Estimator in Gaussian Noise and Some Applications},
  author = {Alex Dytso and H. Vincent Poor and Shlomo Shamai},
  journal= {arXiv preprint arXiv:2104.01883},
  year   = {2021}
}