FewFedPIT：迈向隐私保护与少样本联邦指令微调
密码学与安全
2024-06-21 v2 人工智能
摘要
指令微调已被确定为优化大型语言模型 (LLM) 生成符合人类偏好响应性能的关键技术。然而，收集多样化和高质量的指令数据用于此类微调面临显著障碍，特别是在具有严格隐私规定的领域。联邦指令微调 (FedIT) 已成为一种有前景的解决方案，它通过整合多个数据所有者的协作训练，从而产生一个隐私保护的学习模型。然而，FedIT 面临指令数据稀缺和暴露于训练数据提取攻击风险等局限性。本文提出了一种新的联邦算法 FewFedPIT，旨在同时增强隐私保护和联邦少样本学习的模型性能。FewFedPIT 在客户端包含三个关键组件：(1) 合成数据生成，利用 LLM 的上下文学习能力自主生成合成数据，从而扩展本地数据库；(2) 参数隔离训练，分别更新合成数据中的公共参数和本地数据中的私有参数，从而减轻合成数据的噪声影响；(3) 本地聚合共享，在上传前混合公共和私有参数，有效防止数据提取攻击。在三个开源数据集上的大量实验证明了 FewFedPIT 的有效性，增强了隐私保护并提升了联邦少样本性能。
引用
@article{arxiv.2403.06131,
title = {FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning},
author = {Zhuo Zhang and Jingyuan Zhang and Jintao Huang and Lizhen Qu and Hongzhi Zhang and Qifan Wang and Xun Zhou and Zenglin Xu},
journal= {arXiv preprint arXiv:2403.06131},
year = {2024}
}
备注
Work in progress