有效稀疏性：通过归一化熵与有效非零数统一框架
机器学习
2026-03-17 v1 机器学习
摘要
经典稀疏性方法依赖 l0 范数, 该范数将所有非零分量视为等重要。然而, 在实际逆问题中, 解往往表现为许多小幅度分量， 对重构影响甚微, 但会导致对信号复杂度的过度估计。我们通过将范数从离散基数转向有效稀疏性来解决这一限制。我们的ethods 引入有效非零数(ENZ), 这是一类基于归一化熵的统一正则化器, 包括香农和 Renyi 形式, 用于量化显著系数的集中程度。我们表明, 与经典 l0 范数相比, ENZ 提供了稳定且连续的有效稀疏性度量, 对微小扰动不敏感。对于噪声线性逆问题, 我们在受限度量属性(RIP)下提供了理论保证, 证明了基于 ENZ 的恢复是唯一且稳定的。我们还推导了一个分解, 表明 ENZ 等价于 support 基数乘以一个分布效率因子, 因此将熵与 l0 正则化联系起来。数值实验表明, 该有效稀疏性框架在鲁棒性和准确性方面优于传统基于基数的 methods。
引用
@article{arxiv.2603.13826,
title = {Effective Sparsity: A Unified Framework via Normalized Entropy and the Effective Number of Nonzeros},
author = {Haoyu He and Hao Wang and Jiashan Wang and Hao Zeng},
journal= {arXiv preprint arXiv:2603.13826},
year = {2026}
}