基于混合秘密共享的隐私保护型联合学习大语言模型微调方法
机器人学
2025-03-06 v1
摘要
大语言模型 (LLM) 的微调由于暴露敏感训练数据而引发隐私担忧。联合学习 (FL) 通过保持训练样本在本地设备上来缓解此风险，但在隐私保护的联合微调中面临以下问题：(i) 最近研究表明，对手仍可推断 FL 中的私有信息；(ii) LLM 参数在联合微调期间被公开共享，而开发者往往不愿披露这些参数，进而带来额外的安全挑战；(iii)现有工作侧重于 LLM 的安全推理，而未考虑隐私保护的微调。针对上述问题，我们提出一种名为 PriFFT 的隐私保护联合微调机制，以保护模型参数和用户隐私。鉴于 LLM 参数庞大，我们提出结合算术秘密共享 (ASS) 和函数秘密共享 (FSS) 的混合秘密共享，以构建安全运算并实现隐私保护微调中的安全层和激活函数。为提高隐私保护联合微调 LLM 的效率，我们基于 FSS 优化了多个安全计算协议，包括倒数计算、张量积、自然指数、softmax、sigmoid、双曲正切和 dropout。该混合秘密共享使 PriFFT 能够在结合 ASS 协议的同时应用优化后的 FSS 协议，以支持复杂计算且无需额外通信。优化后的协议在执行时间上缩短最高可达62.5%，通信开销降低最高可达70.7%。此外，PriFFT 在不降低准确率的前提下，显著减少了隐私保护微调的执行时间和通信开销，分别降低最高可达59.1%和77.0%。
引用
@article{arxiv.2503.03145,
title = {Causality-Based Reinforcement Learning Method for Multi-Stage Robotic Tasks},
author = {Jiechao Deng and Ning Tan},
journal= {arXiv preprint arXiv:2503.03145},
year = {2025}
}