熵测度的快速、紧凑、非奇异且保持性质的近似方法

熵测度如香氏熵（Shannon entropy, SE）、其量子力学类比 von Neumann 熵以及 Kullback-Leibler 散度（KL 散度）是物理学、信息论、机器学习（ML）和量子计算中众多工具的关键组成部分。除 SE 和 KL 计算量大的要求外，其梯度在零点附近的奇异性是诱导这些领域计算工具高成本、频繁低鲁棒性和收敛缓慢的核心数学原因。本文提出快速熵近似（Fast Entropic Approximations, FEA）——一种非奇异有理逼近，用于逼近 SE 和对称 KL，保留其主要数学性质，并实现约为 $10^-3$ 的平均绝对误差（比当前可比方法高出 10-20 倍）。我们表明，FEA 使 SE 的计算速度可提高约 2 倍，使对称 KL 的计算速度可提高约 37 倍：仅需 5 至 7 次基本计算运算，而与基于近似对数方案（包括表查找、位移或级数逼近）的 SE 和 KL 计算相比，需要数十次基本运算。在机器学习中常见的特征选择基准测试集上，我们表明，更少的基本运算次数、较低的近似误差、保持主要数学性质以及非奇异梯度的综合效应，使显著更好的模型训练速度大幅提升。我们展示，FEA 使 ML 特征提取速度提升约三个数量级，质量也优于流行的 LASSO 特征提取方法。