SoftAdaClip：一种用于公平且私有模型训练的平滑裁剪策略
机器学习
2025-10-08 v2
摘要
差分隐私 (DP) 提供了对敏感数据的强大保护，但通常会降低模型性能和公平性，尤其是针对边缘子群体。 一个主要原因是 DP-SGD 中的梯度裁剪，这会对边缘子群体的学习信号造成不成比例的抑制。 虽然自适应裁剪可以提高实用性，但仍依赖统一的硬裁剪，这可能限制公平性。 为了解决这一问题，我们引入 SoftAdaClip，这是一种替代硬裁剪通过 tanh 基于平滑变换来保持相对梯度幅度同时限制灵敏度的差分隐私训练方法。 我们在多个数据集上评估 SoftAdaClip，包括 MIMIC-III（临床文本）、GOSSIS-eICU（结构化医疗）以及 Adult Income（表格数据）。 我们的结果表明，SoftAdaClip 比 DP-SGD 缩小了至多 87% 的子群差异，比 Adaptive-DPSGD 缩小了至多 48%，且这些差异缩小在统计上具有显著性。 这些发现凸显了将平滑变换与自适应机制相结合以实现公平且私有模型训练的重要性。
引用
@article{arxiv.2510.01447,
title = {SoftAdaClip: A Smooth Clipping Strategy for Fair and Private Model Training},
author = {Dorsa Soleymani and Ali Dadsetan and Frank Rudzicz},
journal= {arXiv preprint arXiv:2510.01447},
year = {2025}
}