通过旁信息收益论证对数损失
信息论
2015-12-23 v2 math.IT
摘要
我们考虑一种自然的相关性度量：在存在旁信息的情况下最优预测风险的降低量。对于任何给定的损失函数，该相关性度量捕捉了在该损失函数下利用旁信息对随机变量进行推理的收益。当此类度量满足自然的数据处理性质，且感兴趣随机变量的字母表大小大于二时，我们证明它由互信息唯一刻画，且相应的损失函数与对数损失一致。借此，我们的工作提供了互信息的一种新刻画，并论证了其作为相关性度量的合理性。当字母表为二元时，我们刻画了在遵守指定数据处理性质的同时，相关性度量所能采取的唯一允许形式。我们的结果自然地扩展到了随机过程间因果影响的度量，我们将文献中不同的因果推断度量统一为定向信息的具体实例。
引用
@article{arxiv.1403.4679,
title = {Justification of Logarithmic Loss via the Benefit of Side Information},
author = {Jiantao Jiao and Thomas Courtade and Kartik Venkat and Tsachy Weissman},
journal= {arXiv preprint arXiv:1403.4679},
year = {2015}
}