UNIFUZZ:一个整体且务实的、由指标驱动的模糊测试器评估平台
密码学与安全
2020-10-06 v1
摘要
文献中已提出大量模糊测试工具(fuzzer,模糊测试器),旨在有效且高效地检测软件漏洞。然而,由于评估所用的基准、性能指标和/或环境不一致,迄今为止比较模糊测试器仍具挑战性,这掩盖了有用的见解,从而阻碍了有前景的模糊测试原语的发掘。本文中,我们设计并开发了UNIFUZZ,一个开源的、由指标驱动的平台,用于以全面且量化的方式评估模糊测试器。具体而言,UNIFUZZ迄今已集成35个可用模糊测试器、一个含20个真实程序的基准,以及六类性能指标。我们首先系统地研究了现有模糊测试器的可用性,发现并修复了若干缺陷,并将其集成到UNIFUZZ中。基于该研究,我们提出了一组务实的性能指标,从六个互补的角度评估模糊测试器。利用UNIFUZZ,我们对若干著名模糊测试器进行了深入评估,包括AFL [1]、AFLFast [2]、Angora [3]、Honggfuzz [4]、MOPT [5]、QSYM [6]、T-Fuzz [7] 和 VUzzer64 [8]。我们发现它们在所有目标程序上均无一方全面优于其他方,且使用单一指标评估模糊测试器性能可能导致片面结论,这证明了综合指标的重要性。此外,我们识别并研究了先前被忽视的、可能显著影响模糊测试器性能的因素,包括插桩方法和崩溃分析工具。我们的实证结果表明它们对模糊测试器的评估至关重要。我们希望我们的发现能为可靠的模糊测试评估提供启示,从而在未来发掘有前景的模糊测试原语以有效促进模糊测试器设计。
引用
@article{arxiv.2010.01785,
title = {UNIFUZZ: A Holistic and Pragmatic Metrics-Driven Platform for Evaluating Fuzzers},
author = {Yuwei Li and Shouling Ji and Yuan Chen and Sizhuang Liang and Wei-Han Lee and Yueyao Chen and Chenyang Lyu and Chunming Wu and Raheem Beyah and Peng Cheng and Kangjie Lu and Ting Wang},
journal= {arXiv preprint arXiv:2010.01785},
year = {2020}
}
备注
To appear in the Proceedings of the 30th USENIX Security Symposium (USENIX Security 2021)