AVScan2Vec：面向生产规模恶意软件语料的杀毒扫描数据特征学习
密码学与安全
2023-06-13 v1 机器学习
摘要
在调查恶意文件时，搜索相关文件是恶意软件分析人员必须执行的常见任务。鉴于生产恶意软件语料可能包含超过十亿个文件并消耗 PB 级存储，许多特征提取与相似度搜索方法在计算上不可行。我们的工作探索了杀毒（AV）扫描数据作为恶意软件可扩展特征来源的潜力。这是因为 AV 扫描报告可通过 VirusTotal 等服务广泛获取，且比平均恶意软件样本小约 100 倍。AV 扫描报告中的信息十分丰富，可指示恶意文件的家族、行为、目标操作系统以及许多其他特征。我们引入 AVScan2Vec，一种训练用于理解 AV 扫描数据语义的语言模型。AVScan2Vec 接收恶意文件的 AV 扫描数据并输出有意义的向量表示。AVScan2Vec 向量比当今流行的替代方案小约 3 至 85 倍，从而实现更快的向量比较与更低的内存使用。通过结合 Dynamic Continuous Indexing，我们表明对 AVScan2Vec 向量的最近邻查询可扩展到甚至最大的恶意软件生产数据集。我们还证明，在我们评估的几乎所有分类、聚类和最近邻查找算法中，AVScan2Vec 向量都优于其他领先的恶意软件特征向量表示。
引用
@article{arxiv.2306.06228,
title = {AVScan2Vec: Feature Learning on Antivirus Scan Data for Production-Scale Malware Corpora},
author = {Robert J. Joyce and Tirth Patel and Charles Nicholas and Edward Raff},
journal= {arXiv preprint arXiv:2306.06228},
year = {2023}
}