基于低秩表示的鲁棒快速信息度量

基于矩阵的 Rényi 熵使我们能够直接由给定数据量化信息度量，而无需显式估计底层概率分布。这一引人注目的性质使其广泛应用于统计推断与机器学习任务。然而，该信息论量对数据中的噪声不鲁棒，且在大规模应用中计算代价高昂。为解决这些问题，我们提出一种新颖的信息度量，称为低秩基于矩阵的 Rényi 熵，其建立在无限可分核矩阵的低秩表示之上。所提出的熵泛函继承了原定义可直接从数据量化信息的特性，同时具备鲁棒性与高效计算等额外优势。具体而言，我们的低秩变体对底层分布变化引起的有信息扰动更敏感，而对噪声导致的无信息扰动不敏感。此外，低秩 Rényi 熵可通过随机投影与 Lanczos 迭代技术高效近似，将总体复杂度从 $\mathcal{O}(n^3)$ 降至 $\mathcal{O}(n^2 s)$ 甚至 $\mathcal{O}(ns^2)$，其中 $n$ 为数据样本数且 $s \ll n$。我们开展大规模实验评估这一新信息度量的有效性，在性能与计算效率上均展现出优于基于矩阵的 Rényi 熵的结果。