差分隐私学习中的在线敏感度优化
机器学习
2024-01-09 v2
摘要
训练差分隐私机器学习模型需要约束个体对优化过程的贡献。这是通过在平均化和批量净化之前，将其梯度的2-范数在预定阈值处截断来实现的。该选择以两种相反的方式对优化产生不利影响：在较低值处因过度截断而加剧偏差，或在较高值处增大净化噪声。该选择显著依赖于诸如数据集、模型架构等因素，甚至在同一优化过程中也会变化，通常需要通过网格搜索进行细致调参。为避免超参数调优中产生的隐私开销，我们提出一种动态优化截断阈值的新方法。我们将该阈值视为额外的可学习参数，建立阈值与代价函数之间的清晰关系。这使我们能够以梯度下降优化前者，且对整体隐私分析影响极小。我们的方法在多种数据集、任务、模型规模和隐私级别下，与固定的及自适应的替代策略进行了充分对比评估。结果表明，在相同隐私要求下，其在评估场景中表现相当或更好。
引用
@article{arxiv.2310.00829,
title = {Online Sensitivity Optimization in Differentially Private Learning},
author = {Filippo Galli and Catuscia Palamidessi and Tommaso Cucinotta},
journal= {arXiv preprint arXiv:2310.00829},
year = {2024}
}