评估生产级恶意软件检测系统对可迁移对抗性攻击的鲁棒性
密码学与安全
2025-10-03 v1 机器学习
摘要
随着深度学习模型在更大规模的生产系统中被广泛部署，其个体缺陷可能导致具有现实影响的系统级漏洞。本文研究针对 ML 组件的对抗性攻击如何降低或绕过整个生产级恶意软件检测系统，选取 Gmail 的管道进行案例分析，其中文件类型识别依赖于 ML 模型。Gmail 所使用的恶意软件检测管道包含一个用于将每个潜在恶意样本路由到专用恶意软件分类器以提高准确率和性能的机器学习模型。该模型称为 Magika，已开源。通过设计欺骗 Magika 的对抗性示例，我们可以导致生产级恶意软件服务错误地将恶意软件路由到不合适的恶意软件检测器，从而增加规避检测的机会。具体而言，通过仅修改恶意软件样本的 13 个字节，就可在 90% 的情况下成功欺骗 Magika，从而允许我们通过 Gmail 发送恶意文件。随后我们关注防御措施，开发一种方法来缓解此类攻击的严重性。对于我们防御后的生产模型，高度资源投入的对手仅需 50 个字节即可实现仅 20% 的攻击成功率。我们实现了该防御措施，由于与 Google 工程师的合作，该防御已部署到 Gmail 分类器中。
引用
@article{arxiv.2510.01676,
title = {Evaluating the Robustness of a Production Malware Detection System to Transferable Adversarial Attacks},
author = {Milad Nasr and Yanick Fratantonio and Luca Invernizzi and Ange Albertini and Loua Farah and Alex Petit-Bianco and Andreas Terzis and Kurt Thomas and Elie Bursztein and Nicholas Carlini},
journal= {arXiv preprint arXiv:2510.01676},
year = {2025}
}