以矩阵方式估计Rényi的α-交叉熵
信息论
2021-09-27 v1 机器学习
math.IT
摘要
传统信息论量假定可获取概率分布。估计此类分布并非易事。在此，我们考虑基于函数的交叉熵表述，以规避这一先验估计需求。我们在再生核希尔伯特空间设定下提出三种Rényi的α-交叉熵度量。每种度量各有其吸引力。我们证明，可通过样本构造的Gram矩阵，以无偏、非参数且极小极大最优的方式估计这些度量。由此得到Rényi的α-交叉熵的矩阵基估计量。这些估计量满足Rényi为散度所建立的全部公理。因此，我们的交叉熵可用于评估分布差异。它们也适用于处理高维分布，因为我们的估计量的收敛速率与样本维数无关。实现这些度量的Python代码可在 https://github.com/isledge/MBRCE 找到。
引用
@article{arxiv.2109.11737,
title = {Estimating R\'enyi's $\alpha$-Cross-Entropies in a Matrix-Based Way},
author = {Isaac J. Sledge and Jose C. Principe},
journal= {arXiv preprint arXiv:2109.11737},
year = {2021}
}
备注
Submitted to the IEEE Transactions on Information Theory