聚类与中位数聚合改进差分隐私推理
机器学习
2025-06-06 v1 人工智能
计算与语言
密码学与安全
摘要
差分隐私（DP）语言模型推理是一种生成私密合成文本的方法。对敏感输入示例进行提示，以调用现有的大语言模型（LLM）生成类似示例。可以将多个示例聚合在一起，以形式上满足 DP 保证。先前的工作通过均匀随机抽样创建推理批次。我们指出，均匀抽样会降低私密生成文本的质量，尤其是当敏感示例涉及异构主题时。我们通过在选择推理批次之前对输入数据进行聚类来克服这一问题。接下来，我们注意到聚类也导致推理中下一个标记预测更相似。我们使用这一洞察，引入一种新算法，通过对下一个标记统计信息进行中位数聚合来实现私密计算。这种方法利用中位数在下一个标记预测相似时具有较小局部灵敏度的事实，使我们能够对该算法的隐私属性给出数据依赖的和事后 DP 保证。最后，我们在代表性指标（例如 MAUVE）以及下游任务性能方面展示了改进。我们显示，该方法在显著降低隐私成本的情况下，产生高质量合成数据，优于先前的 SOTA 方法。
引用
@article{arxiv.2506.04566,
title = {Clustering and Median Aggregation Improve Differentially Private Inference},
author = {Kareem Amin and Salman Avestimehr and Sara Babakniya and Alex Bie and Weiwei Kong and Natalia Ponomareva and Umar Syed},
journal= {arXiv preprint arXiv:2506.04566},
year = {2025}
}