TESSERACT：消除跨时空恶意软件分类中的实验偏差（扩展版）
机器学习
2025-04-10 v2 密码学与安全
性能
摘要
机器学习在检测恶意软件中起着关键作用。尽管众多研究报告的 F1 分数高达 0.99 以上，但该问题并未完全解决。由于操作系统和攻击方法不断演变，恶意软件检测器的性能常常会衰减，导致先前学到的知识不足以对新输入做出准确决策。本文认为，普遍报告的结果被夸大了，原因在于检测任务中普遍存在的两个实验偏差来源：由不能代表真实世界部署的数据分布引起的空间偏差；以及由不正确的数据时间划分引起的、导致不切实际配置的时间偏差。为了解决这些偏差，我们引入了一套公平实验设计的约束条件，并提出了一种新的度量标准 AUT，用于衡量真实世界环境中分类器的鲁棒性。我们还提出了一种旨在调整训练数据以提升分类器性能的算法。最后，我们展示了 TESSERACT，一个用于进行现实分类器比较的开源框架。我们的评估涵盖了传统机器学习和深度学习方法，在一个包含五年间 259,230 个样本的大规模 Android 数据集上检验了已发表的研究成果。此外，我们还在 Windows PE 和 PDF 领域进行了案例研究。我们的发现确认了先前研究中存在偏差，并揭示了通过适当的、周期性的调整可以实现显著的性能提升。我们探讨了通过采用多种策略来延迟性能衰减，缓解策略如何有助于实现随时间推移更稳定、更优越的性能。
引用
@article{arxiv.2402.01359,
title = {TESSERACT: Eliminating Experimental Bias in Malware Classification across Space and Time (Extended Version)},
author = {Zeliang Kan and Shae McFadden and Daniel Arp and Feargus Pendlebury and Roberto Jordaney and Johannes Kinder and Fabio Pierazzi and Lorenzo Cavallaro},
journal= {arXiv preprint arXiv:2402.01359},
year = {2025}
}
备注
30 pages. arXiv admin note: text overlap with arXiv:1807.07838