简单而有效：跨客户端在联邦大语言模型微调中提取私有数据
计算与语言
2026-02-26 v2 人工智能
摘要
联邦大语言模型（FedLLM）通过保持数据局部性，实现了面向机构的跨数据盆地协作训练，因而在法律、金融和医疗等隐私敏感领域备受青睐。然而，LLM的记忆行为可能导致跨客户端数据泄露风险。本文研究了跨客户端数据提取威胁，即半诚实参与者尝试恢复来自其他客户端数据的个人可识别信息（PII）。我们提出三种简单且有效的提取策略，利用来自攻击者本地数据的上下文前缀，包括基于频率的前缀抽样和本地微调以放大记忆效应。为评估这些攻击，我们构建了一个符合CPIS、GDPR和CCPA标准的中文法律领域数据集，包含细粒度PII标注，并使用两种指标评估提取性能：覆盖率和效率。实验结果表明，我们的方法可恢复最高56.6%的受害者专属PII，其中姓名、地址和生日尤其脆弱。这些发现凸显了FedLLM中的具体隐私风险，建立了面向未来隐私保护联邦学习研究的基准和评估框架。代码和数据已公开于 https://github.com/SMILELab-FL/FedPII。
引用
@article{arxiv.2506.06060,
title = {Simple Yet Effective: Extracting Private Data Across Clients in Federated Fine-Tuning of Large Language Models},
author = {Yingqi Hu and Zhuo Zhang and Jingyuan Zhang and Jinghua Wang and Qifan Wang and Lizhen Qu and Zenglin Xu},
journal= {arXiv preprint arXiv:2506.06060},
year = {2026}
}
备注
IJCNLP 2025 Findings