基于最近邻搜索的差分隐私原语学习
机器学习
2025-11-07 v1 人工智能
密码学与安全
摘要
差分隐私原语学习（DP-ICL）近期因原语学习固有的隐私风险而成为活跃研究主题。然而，现有方法忽视了现代大型语言模型（LLM）管道中关键组件：用于检索相关上下文数据的相似性搜索。本文引入了一个集成原语学习中最近邻搜索的DP框架。该方法在所有评估基准上均显著优于现有基线，在隐私-效用权衡方面表现更为有利。为实现这一目标，我们采用来自上下文数据数据库的最近邻检索，结合跟踪所选样本累积隐私成本的隐私过滤器，以确保遵守中心差分隐私预算。在文本分类和文档问答实验中，所提出的方法在现有基线之上显示出明显优势。
引用
@article{arxiv.2511.04332,
title = {Differentially Private In-Context Learning with Nearest Neighbor Search},
author = {Antti Koskela and Tejas Kulkarni and Laith Zumot},
journal= {arXiv preprint arXiv:2511.04332},
year = {2025}
}
备注
NeurIPS Lock-LLM Workshop 2025