香农熵的可扩展精确计算
人工智能
2026-02-19 v3 信息论
math.IT
摘要
定量信息流分析（QIF）是一类用于衡量程序向其公开输出泄露的机密信息量的技术。香农熵是量化 QIF 中泄露量的重要方法。本文聚焦于以布尔约束建模的程序，并优化了香农熵计算的两个阶段，以实现一个可扩展的精确工具 PSE。在第一阶段，我们设计了一种称为 \ADDAND 的知识编译语言，它结合了代数决策图与合取分解。\ADDAND 避免了枚举程序的可能输出，并支持可处理的熵计算。在第二阶段，我们优化了用于计算输出概率的模型计数查询。我们将 PSE 与最先进的概率近似正确工具 EntropyEstimation 进行了比较，后者已被证明显著优于先前的精确工具。实验结果表明，在总共 459 个基准测试中，PSE 比 EntropyEstimation 多解决了 56 个。对于 PSE 和 EntropyEstimation 均能解决的 98% 的基准测试，PSE 的效率至少是 EntropyEstimation 的 倍。
引用
@article{arxiv.2502.01160,
title = {Scalable Precise Computation of Shannon Entropy},
author = {Yong Lai and Haolong Tong and Zhenghang Xu and Minghao Yin},
journal= {arXiv preprint arXiv:2502.01160},
year = {2026}
}
备注
19 pages, 5 figures