安全性与性能能否兼得？面向AI软件部署的双目标优化模型压缩
机器学习
2022-09-12 v2 密码学与安全
软件工程
摘要
人工智能(AI)软件中深度学习模型的规模迅速增长，阻碍了在资源受限设备(如智能手机)上的大规模部署。为缓解该问题，AI软件压缩起着关键作用，其旨在压缩模型规模同时保持高性能。然而，大模型的内在缺陷可能被压缩模型继承。由于压缩模型通常部署于大量缺乏充分保护的设备中，此类缺陷易被攻击者利用。本文尝试从安全性-性能协同优化视角解决安全模型压缩问题。具体而言，受软件工程中测试驱动开发(TDD)范式启发，我们提出称为SafeCompress的测试驱动稀疏训练框架。通过将攻击机制模拟为安全性测试，SafeCompress可遵循动态稀疏训练范式自动将大模型压缩为小模型。进一步，考虑一种代表性攻击即成员推理攻击(MIA)，我们开发了具体的安全模型压缩机制，称为MIA-SafeCompress。我们进行了大量实验，在五个数据集上针对计算机视觉和自然语言处理任务评估MIA-SafeCompress。结果验证了方法的有效性和泛化性。我们还讨论了如何将SafeCompress适配于MIA之外的其他攻击，展示了SafeCompress的灵活性。
引用
@article{arxiv.2208.05969,
title = {Safety and Performance, Why not Both? Bi-Objective Optimized Model Compression toward AI Software Deployment},
author = {Jie Zhu and Leye Wang and Xiao Han},
journal= {arXiv preprint arXiv:2208.05969},
year = {2022}
}
备注
Accepted by ASE2022. Camera-ready Version