DPQuant：基于动态量化调度的高效差分隐私模型训练
机器学习
2026-04-17 v2 人工智能
分布式、并行与集群计算
摘要
差分隐私 SGD（DP-SGD）及其自适应变体 DP-Adam 是保护使用敏感数据训练神经网络时用户隐私的强大技术。在训练过程中，将模型权重和激活值转换为低精度格式（即量化），可显著降低训练时间、能源消耗和成本，因此是广泛使用的技术。本文首次展示量化在 DP 训练中导致的准确率下降显著高于常规 SGD。我们观察到，这是由于噪声注入放大了量化方差，导致准确率下降比例不成比例。为解决这一挑战，我们提出了 DPQuant，一种动态量化框架，通过自适应选择每个 epoch 要量化的子集层来应对。我们的方法结合了两个关键思想，有效降低了量化方差：（i）概率抽样不断轮换哪些层进行量化，以及（ii）基于损失的层优先级排序，这使用差分隐私损失灵敏度估计器识别可最小化模型质量影响的可量化层。该估计器消耗的隐私预算几乎可以忽略，保持 DP 保证。对 ResNet18、ResNet50 和 DenseNet121 在多个数据集上的经验评估表明，DPQuant 在静态量化基线上始终表现更佳，实现了接近帕累托最优的准确率-计算量权衡，并在低精度硬件上实现最高 的理论吞吐量提升，验证准确率下降不足 2%。我们进一步展示了该框架可扩展到 DP-Adam，取得类似的收益。
引用
@article{arxiv.2509.03472,
title = {DPQuant: Efficient and Differentially-Private Model Training via Dynamic Quantization Scheduling},
author = {Yubo Gao and Renbo Tu and Gennady Pekhimenko and Nandita Vijaykumar},
journal= {arXiv preprint arXiv:2509.03472},
year = {2026}
}