Zipf-Gramming：将字节 N 元agram 扩展至生产级恶意软件语料库

使用字节 N 元agram 作为特征的分类器是我们唯一找到的能够满足大小（小于 2 MB）、速度（多个 GB/s）和延迟（小于 10 ms）要求的方案，用于部署在众多恶意软件检测场景中。然而，我们一致发现 6-8 元agram 在实际部署中 achieves 最佳准确率，但由于在 terabytes 级可执行程序中寻找前 k 个最频繁 N 元agram的成本高昂，导致无法定期更新模型。由于 Zipf 分布良好地建模了 N 元agram的分布，我们利用其特性开发了一种新的 top-k N 元agram 提取器，比上一次最佳替代方案快上 $35\times$。通过我们的 Zipf-Gramming 算法，我们能够扩展生产训练集，使恶意软件检测的 AUC 提升最高可达 30%。我们在理论和实证方面表明，该方法能够以极小的误差选择前 k 个项目，并阐述了实现这些结果所需的理论与工程之间的相互作用。