通过配分函数和信息测度的梯度进行最优估计：统计力学视角
信息论
2016-11-17 v1 math.IT
摘要
继最近关于高斯噪声中最小均方误差（MMSE）估计的统计力学分析（通过其与互信息的关系，即I-MMSE关系）之后，本文提出了最优估计与某些信息测度（例如信息密度和Fisher信息）之间更简单、更直接的关系，这些信息测度可被视为配分函数，因此适合使用统计力学技术进行分析。所提出的方法有几个优点，最显著的是其适用于一般信源和信道，而I-MMSE关系及其变体仅适用于某些类别的信道（例如加性高斯白噪声信道）。然后，我们通过几个例子演示了条件均值估计器和MMSE的推导。其中两个例子可以推广到相当广泛的一类信源和信道。对于此类，所提出的方法被证明能产生一个近似的条件均值估计器和一个具有单字母表达式形式的MMSE公式。我们还展示了我们的方法如何轻松推广到失配估计的情况。
引用
@article{arxiv.0911.3213,
title = {Optimum estimation via gradients of partition functions and information measures: a statistical-mechanical perspective},
author = {Neri Merhav},
journal= {arXiv preprint arXiv:0911.3213},
year = {2016}
}
备注
21 pages; submitted to the IEEE Transactions on Information Theory