互信息的混合统计估计及其在信息流中的应用

对概率系统的分析通常要求其随机变量的联合概率分布。精确分布的计算通常是对系统所有执行的穷举式精确分析。为避免此种穷举搜索的高计算成本，统计分析方法被研究以通过仅分析系统行为的一小部分但有代表性的子集来高效获得近似估计。在本文中，我们提出一种混合统计估计方法，结合精确分析与统计分析来估计互信息、香农熵和条件熵及其置信区间。我们展示了如何对离散系统的不同组件以不同精度组合分析，以获得对整个系统的估计。新方法对不同组件以不同样本量进行加权统计分析，并动态找出其最优样本量。此外，它可通过利用关于系统的先验知识以及一种基于定性分析的“先抽象后采样”新技术来减少样本量。为将该方法应用于系统源代码，我们展示了如何将该代码分解为组件，并通过概述HyLeak工具中这些技术的实现来确定每个组件的分析方法。我们通过案例研究证明，新方法在量化信息泄露方面优于当前最先进水平（SOTA）。