模型即代码：面向预训练模型中心的恶意代码投毒攻击测量研究
密码学与安全
2024-09-17 v1 软件工程
摘要
预训练模型 (PTM) 和数据集的不断涌现，催生了像 Hugging Face 这样的集中式模型中心，促进了协作开发和复用。然而，近期的安全报告揭示了这些平台内部的漏洞和恶意攻击实例，凸显了日益严峻的安全问题。本文首次系统性地研究了针对预训练模型中心的恶意代码投毒攻击，聚焦于 Hugging Face 平台。我们进行了全面的威胁分析，构建了模型格式的分类框架，对脆弱格式的根本原因进行了分析。虽然现有工具如 Fickling 和 ModelScan 提供了一定保护，但在语义层面的分析和综合威胁检测方面面临局限。为此，我们提出了 MalHug——一个专为 Hugging Face 设计的端到端管道，集成数据集加载脚本提取、模型反序列化、深入的污点分析和启发式模式匹配，以检测和分类数据集和模型中的恶意代码投毒攻击。与阿里巴巴技术公司合作，我们在其基础设施中的镜像 Hugging Face 实例上实现并部署了 MalHug，运行超过三个月。期间，MalHug 监控了超过 70.5 万个模型和 17.6 万个数据集，发现了 91 个恶意模型和 9 个恶意数据集加载脚本。这些发现揭示了包括反向 shell、浏览器凭证盗窃和系统信息收集在内的多种安全威胁。这一工作不仅填补了理解 PTM 供应链安全的关键空白，也提供了一种实用且经产业验证的解决方案，用于提升预训练模型中心的安全性。
关键词
引用
@article{arxiv.2409.09368,
title = {Models Are Codes: Towards Measuring Malicious Code Poisoning Attacks on Pre-trained Model Hubs},
author = {Jian Zhao and Shenao Wang and Yanjie Zhao and Xinyi Hou and Kailong Wang and Peiming Gao and Yuanchao Zhang and Chen Wei and Haoyu Wang},
journal= {arXiv preprint arXiv:2409.09368},
year = {2024}
}
备注
To appear in the 39th IEEE/ACM International Conference on Automated Software Engineering (ASE'24), October 27-November 1, 2024, Sacramento, CA, USA