隐私与精度感知的 AI/ML 模型去重
密码学与安全
2025-03-05 v1 数据库
摘要
随着隐私保护机器学习算法（如差分隐私随机梯度下降，DP-SGD）的广泛采用，在私有数据集上训练或微调模型变得越来越普遍。这一转变导致需要提供不同隐私保证和效用水平的模型以满足多样化的用户需求。然而，管理大量大型模型版本引入了显著的运营挑战，包括推理延迟增加、资源消耗升高和成本上升。模型去重是许多模型服务和数据库系统中广泛使用的技术，用于支持高性能和低成本的推理查询以及模型诊断查询。然而，现有的模型去重工作均未考虑隐私因素，导致某些去重模型的隐私成本无界增长，并且在用于去重 DP 训练模型时效率低下。我们首次形式化了 DP 训练模型去重的问题，并提出了一种新颖的隐私与精度感知的去重机制来解决这些问题。我们开发了一种贪心策略来选择和分配基础模型给目标模型，以最小化存储和隐私成本。在去重目标模型时，我们动态调度精度验证，并应用稀疏向量技术来降低与私有验证数据相关的隐私成本。与不提供隐私保证的基线方法相比，我们的方法在单个模型（包括大语言模型和视觉 Transformer）的压缩比上提升了最多 35 倍。我们还观察到由于 I/O 操作减少带来的最多 43 倍推理加速。
引用
@article{arxiv.2503.02862,
title = {Privacy and Accuracy-Aware AI/ML Model Deduplication},
author = {Hong Guan and Lei Yu and Lixi Zhou and Li Xiong and Kanchan Chowdhury and Lulu Xie and Xusheng Xiao and Jia Zou},
journal= {arXiv preprint arXiv:2503.02862},
year = {2025}
}