基于二次近似的指数机制：为隐私保障的机器学习模型微调
机器学习
2026-05-21 v1 密码学与安全
摘要
微调将预训练的机器学习模型适配到小型且敏感的数据集，但这一过程风险在于记忆单个新数据点，使模型对寻求从中提取敏感信息的对手而言脆弱。本文中，我们基于指数机制开发了一种随机算法，用于在确保差分隐私的前提下进行微调。我们的关键思想是构建一种简单实用函数，将预训练模型的局部二次近似与来自新数据集的信息相结合。 resulting exponential mechanism 采用闭式形式从多变量正态分布中进行精确抽样。我们建立了理论隐私保证、灵敏度界限以及准确性估计。我们进一步引入一种随机投影策略，使该方法可扩展至高维模型。在MNIST基准和MIMIC临床数据集上的数值实验表明，我们的方法在现有差分隐私微调技术中表现出竞争力。
引用
@article{arxiv.2605.20521,
title = {An exponential mechanism based on quadratic approximations for fine-tuning machine learning models with privacy guarantees},
author = {Hoang Tran and Jorge Ramirez and Jiayi Wang and Alberto Bocchinfuso and Christopher Stanley and M. Paul Laiu},
journal= {arXiv preprint arXiv:2605.20521},
year = {2026}
}