基于隐词统计的删除信道输出熵最小化证明

从已知长度 $n$ 的均匀随机输入经无记忆删除信道产生的输出中，可获得关于信道输入的后验分布。该分布的香农熵与均匀先验的香农熵之差度量了长度为 $m$ 的输出所传递的关于信道输入的信息量，自然要问哪些输出使该量达到极值。此问题在先前工作中提出，其中基于实验数据猜想后验熵由常数字符串 $\texttt{000}\ldots$ 和 $\texttt{111}\ldots$ 以及交替字符串 $\texttt{0101}\ldots$ 和 $\texttt{1010}\ldots$ 分别最小化和最大化。在本工作中，我们利用隐词统计的结果证实了渐近极限下的极小化猜想。我们展示了 Flajolet、Szpankowski 和 Vallée 用于处理隐模式匹配问题的解析组合方法如何应用于解决固定输出长度和 $n\rightarrow\infty$ 的情形，通过对后验分布的矩获得熵的估计，并通过自相关度量确立其极小化。