基于机器学习的行为恶意软件检测远未解决

恶意软件检测是机器学习（ML）在安全领域的常见应用。在行为恶意软件分析中，检测器依赖于从程序执行轨迹中提取的特征。文献中关注的检测器使用来自沙箱环境中收集的特征进行训练，并在同样在沙箱中分析的样本上进行评估。然而，在实际部署中，终端主机上的恶意软件检测器通常必须依赖来自终端主机的轨迹，而非来自沙箱。因此，文献与实际需求之间存在差距。我们对基于机器学习的恶意软件检测器在真实终端上的性能进行了首次测量研究。我们利用沙箱轨迹数据集和野外程序轨迹数据集，对评估两个场景进行了测试：(i) 端点检测器使用沙箱轨迹训练（便于且容易训练），以及 (ii) 端点检测器使用端点轨迹训练（更具挑战性，因为需要收集遥测数据）。我们发现，文献中使用的先前评估方法测量的性能与端点检测预期性能之间存在广泛差距——超过90% vs. 端点检测约为20%（场景(i)）至50%（场景(ii)）。我们刻画了在该领域引发的机器学习挑战，并为缩小这一差距做出了贡献，包括标签噪声、分布迁移和伪特征。此外，我们展示了多个技术，可实现5%至30%的相对性能提升。我们的证据表明，将基于沙箱数据训练的检测器应用于端点检测具有挑战性。最具前景的方向是直接在端点数据上训练检测器，这标志着对当前实践的变革。为促进进展，我们将提供该真实世界数据集，以便研究人员进行现实的检测器评估。