深入VirusTotal：海量文件馈送的表征与聚类
密码学与安全
2022-11-01 v2
摘要
在线扫描器利用大量安全工具分析用户提交的文件，并提供分析结果访问。作为最流行的在线扫描器，VirusTotal（VT）常用于判定样本是否恶意、以家族标注样本、搜寻新威胁以及收集恶意软件样本。我们分析了通过VT文件馈送收集一年内235M个样本的328M份VT报告。我们利用这些报告深入刻画VT文件馈送，并将其与一家大型安全厂商的遥测数据进行比较。我们回答了诸如：该馈送的多样性如何？它是否允许构建不同文件类型的恶意软件数据集？其提供样本的新鲜度如何？它所见的恶意软件家族分布是什么？该分布是否真正代表用户设备上的恶意软件？随后，我们通过研究可扩展方法（能在235M馈送样本上产生高纯度聚类）来探索如何大规模进行威胁搜寻。我们考察了三种聚类方法：层次凝聚聚类（HAC）、针对TLSH摘要的更具可扩展HAC变体（HAC-T），以及简单特征值分组（FVG）。我们的结果表明，使用选定特征的HAC-T和FVG在真实数据集上产生高精度聚类。然而，只有FVG能扩展到馈送中每日涌入的样本量。此外，FVG耗时15小时对全部235M样本数据集进行聚类。最后，我们利用所得聚类进行威胁搜寻，即检测出190K被认为良性（即零检测）的样本，这些样本可能实为恶意，因为它们归属于29K个多数样本被检测为恶意的聚类。
引用
@article{arxiv.2210.15973,
title = {A Deep Dive into VirusTotal: Characterizing and Clustering a Massive File Feed},
author = {Kevin van Liebergen and Juan Caballero and Platon Kotzias and Chris Gates},
journal= {arXiv preprint arXiv:2210.15973},
year = {2022}
}
备注
16 pages, 4 figures