信息测度：二进制字母表的奇特案例
信息论
2016-11-17 v2 math.IT
摘要
本文探讨了与定义在有限字母表上的信息散度测度相关的四个问题。在我们考虑的三种情况中，我们阐明了二进制字母表与较大字母表设置之间出现的对比。这在某些情况下令人惊讶，因为较大字母表设置的刻画并不能推广其二进制字母表的对应物。具体而言，我们证明了-散度并非二进制字母表上满足数据处理不等式的唯一可分解散度，从而澄清了先前文献中出现的声称。我们还证明了 KL 散度是对于任意字母表大小同时也是-散度的唯一 Bregman 散度。我们表明，即使考虑不可分解散度，KL 散度也是唯一对数据统计充分变换保持不变的 Bregman 散度。与我们考虑的一些问题类似，该结果仅在字母表大小至少为三时成立。
引用
@article{arxiv.1404.6810,
title = {Information Measures: the Curious Case of the Binary Alphabet},
author = {Jiantao Jiao and Thomas Courtade and Albert No and Kartik Venkat and Tsachy Weissman},
journal= {arXiv preprint arXiv:1404.6810},
year = {2016}
}
备注
to appear in IEEE Transactions on Information Theory