线性时不变滤波器的熵增益及其若干启示
信息论
2015-12-14 v1 math.IT
摘要
我们研究了随机序列与过程经过非最小相位 (NMP) 离散时间线性时不变 (LTI) 滤波器 G 后，每样本微分熵率的增加。对于此类滤波器与随机过程，早已确定该熵增益 Gain(G) 等于 log|G(exp(jw))| 的积分。还已知若 G 的冲激响应首样本具有单位幅值，则该积分等于 G 的非最小相位零点幅值对数之和，记为 B(G)。在本注记中，我们首先指出，现有的这些结果的时间域证明（考虑有限长度 n 序列然后令 n 趋于无穷）忽略了显著的数学项，因此是不准确的。我们讨论了在考虑随机过程时此疏忽的一些启示。随后我们给出了针对随机过程的 LTI 滤波器熵增益的严格时域分析。特别地，我们表明，等长输入输出序列间的熵增益由上界 B(G) 限制，且当且仅当存在具有有限微分熵（无论多小）的输出加性扰动或随机初始状态时该增益才出现。相反，当将输入微分熵与 G 的整个（更长）输出的微分熵比较时，熵增益等于 B(G)，而无需额外的外生随机信号。我们通过三个不同问题中的启示来说明这些结果的某些后果。具体为：高斯非平稳信源的率失真函数的简单推导，网络控制问题中重要的信息不等式取等的条件，以及关于带反馈的自回归高斯信道容量的一项观察。
引用
@article{arxiv.1512.03655,
title = {The Entropy Gain of Linear Time-Invariant Filters and Some of its Implications},
author = {Milan S. Derpich and Matías Müller and Jan Østergaard},
journal= {arXiv preprint arXiv:1512.03655},
year = {2015}
}
备注
Submitted to IEEE Transactions on Information Theory. This version of the manuscript has a shorter abstract (due to arxiv restrictions)