AI 供应链中的脆弱环节：检测模型仓库中的恶意配置
密码学与安全
2025-05-05 v1 人工智能
摘要
近期大语言模型（LLM）的快速发展推动了从代码生成、视频编辑到文本生成等多样化AI应用的开发；然而，诸如Hugging Face等AI供应链——它们托管预训练模型及其由公众贡献的关联配置文件——面临着显著的安全挑战；特别是，最初旨在通过指定参数和初始设置来配置模型的配置文件可以被用于执行未授权代码，而研究在这方面相对于模型本身的安全性已被大体忽视；本文首次全面研究Hugging Face上的恶意配置，识别了三种攻击场景（文件、网站和存储库操作），暴露了固有的风险；为应对这些威胁，我们引入了CONFIGSCAN——一种基于LLM的工具，用于在其关联运行时代码和关键库的上下文中分析配置文件，从而以较低的误报率和高准确率有效检测可疑元素；我们的广泛评估发现了数千个可疑存储库和配置文件，凸显了AI模型托管平台需要增强安全验证的紧迫性。
关键词
引用
@article{arxiv.2505.01067,
title = {A Rusty Link in the AI Supply Chain: Detecting Evil Configurations in Model Repositories},
author = {Ziqi Ding and Qian Fu and Junchen Ding and Gelei Deng and Yi Liu and Yuekang Li},
journal= {arXiv preprint arXiv:2505.01067},
year = {2025}
}