基于极值理论的差分模糊测试风险估计

当规范涉及同时分析多次执行时，差分测试是一种自动检测软件错误和漏洞的高效技术。特别是，差分模糊测试作为一种引导式随机搜索，旨在找到导致软件输出或其行为差异最大化的（相似）输入。然而，作为一种动态分析，模糊测试缺乏关于不存在错误的任何保证：从一个未观察到错误（或观察到最小差异）的差分模糊测试活动中，如果我们再运行模糊器一步或多步，观察到错误（或更大差异）的风险是什么？本文研究了应用极值理论（EVT）来解决差分模糊测试中遗漏或低估错误的风险。关键观察是，差分模糊测试作为一个随机过程，类似于观察到的差异的最大值分布。因此，作为处理极值的统计学分支，EVT是分析差分模糊测试活动尾部以控制风险的理想框架。我们在真实世界的Java库集合上进行了实验，并使用差分模糊测试来发现这些库中通过侧信道的信息泄露。我们首先探索了EVT在此任务中的可行性以及EVT分布的最优超参数。然后，我们将基于EVT的外推法与基线统计方法（如马尔可夫不等式、切比雪夫不等式和贝叶斯因子）进行了比较。基于EVT的外推法在14.3%的案例中优于基线技术，并在64.2%的案例中与基线持平。最后，我们评估了启用EVT的差分模糊测试在真实世界Java库中的准确性和性能提升，通过提前停止，我们报告平均节省了数千万次字节码执行。