提高高维归一化互信息估计器的数值稳定性
信息论
2025-07-10 v3 机器学习
math.IT
统计理论
统计理论
摘要
互信息提供了一种强大且通用的度量，用于量化变量之间共享信息的量度。基于 k 最近邻 (k-NN) 方法估计归一化互信息涉及计算尺度不变的 k-NN 半径。当联合维度高时（通常在几个百位范围），半径的计算会出现数值溢出。为解决此问题，我们提出一种对数转换技术，可提高高维空间中半径计算的数值稳定性。通过在半径计算期间应用所提出的转换，可避免数值溢出，同时保持精度。通过理论分析和实证评估验证了所提出转换的有效性，表明其能够在不损害精度、增加偏差或增加显著计算开销的情况下稳定计算，同时有助于维持估计器的方差。
引用
@article{arxiv.2410.07642,
title = {Improving Numerical Stability of Normalized Mutual Information Estimator on High Dimensions},
author = {Marko Tuononen and Ville Hautamäki},
journal= {arXiv preprint arXiv:2410.07642},
year = {2025}
}
备注
4+1+1 pages, 3 figures, 39 equations