Magika：AI 驱动的内容类型检测
密码学与安全
2024-09-24 v1 人工智能
摘要
内容类型检测——即标识任意字节序列中编码的数据——是操作系统、开发、逆向工程环境以及多种安全应用的关键任务。本文介绍了 Magika，一个新型 AI 驱动的内容类型检测工具。Magika 采用深度学习模型，可在仅使用 1MB 内存存储模型权重的情况下在单个 CPU 上运行。我们表明，Magika 在超过 100 种内容类型和 100 万文件以上测试集上实现了 99% 的平均 F1 分数，超越了当前所有现有内容类型检测工具。在推广采用和改进方面，我们将 Magika 在 Apache 2 许可证下开源于 GitHub，并公开提供模型和训练管道。我们的工具已被 Gmail 邮件服务商用于附件扫描，集成到 VirusTotal 以辅助恶意软件分析。我们指出，本文讨论的 Magika 是首个版本，最新版本已支持超过 200 种内容类型。感兴趣的读者可访问 Magika GitHub 仓库获取最新动态，地址为 https://github.com/google/magika。
引用
@article{arxiv.2409.13768,
title = {Magika: AI-Powered Content-Type Detection},
author = {Yanick Fratantonio and Luca Invernizzi and Loua Farah and Kurt Thomas and Marina Zhang and Ange Albertini and Francois Galilee and Giancarlo Metitieri and Julien Cretin and Alex Petit-Bianco and David Tao and Elie Bursztein},
journal= {arXiv preprint arXiv:2409.13768},
year = {2024}
}