安全与性能，为何不能兼得？面向 AI 软件部署的抗异构攻击双目标优化模型压缩
摘要
人工智能（AI）软件中深度学习模型的规模正在迅速增加，阻碍了在资源受限设备（如智能手机）上的大规模部署。为缓解这一问题，AI 软件压缩发挥着至关重要的作用，其旨在压缩模型规模同时保持高性能。然而，大模型中的固有缺陷可能会被压缩后的模型继承。由于压缩后的模型通常部署在大量缺乏充分保护的设备上，这些缺陷很容易被 adversaries 利用。在本文中，我们旨在从安全 - 性能协同优化的角度解决安全模型压缩问题。具体而言，受软件工程中测试驱动开发（TDD）范式的启发，我们提出了一种名为 SafeCompress 的测试驱动稀疏训练框架。通过将攻击机制模拟为安全测试，SafeCompress 可以遵循动态稀疏训练范式自动将大模型压缩为小模型。接着，考虑到两种具有代表性且异构的攻击机制，即黑盒成员推断攻击和白盒成员推断攻击，我们开发了两个具体实例，分别称为 BMIA-SafeCompress 和 WMIA-SafeCompress。此外，我们通过扩展 SafeCompress 以防御 adversaries 同时实施黑盒和白盒成员推断攻击的情况，实现了另一个名为 MMIA-SafeCompress 的实例。我们在五个数据集上进行了大量实验，涵盖计算机视觉和自然语言处理任务。结果表明了我们要框架的有效性和泛化能力。我们还讨论了如何将 SafeCompress 适配到成员推断攻击之外的其他攻击，展示了 SafeCompress 的灵活性。
引用
@article{arxiv.2401.00996,
title = {Safety and Performance, Why Not Both? Bi-Objective Optimized Model Compression against Heterogeneous Attacks Toward AI Software Deployment},
author = {Jie Zhu and Leye Wang and Xiao Han and Anmin Liu and Tao Xie},
journal= {arXiv preprint arXiv:2401.00996},
year = {2024}
}
备注
Accepted by IEEE Transactions on Software Engineering (TSE). Camera-ready Version. arXiv admin note: substantial text overlap with arXiv:2208.05969