多模态大语言模型联邦学习中的隐私保护提示个性化
密码学与安全
2025-05-29 v1
摘要
提示学习是将预训练多模态语言模型（MLLM）适配到用户任务的一项关键技术。联邦提示个性化（FPP）的进一步发展旨在解决数据异构性和局部过拟合问题，然而，它将个性化提示——宝贵的知识资产——暴露于提示窃取或成员推理攻击等隐私风险中。广泛采用的技术（如差分隐私）会向提示中添加噪声，从而降低个性化性能。我们提出了 SecFPP，这是一种协调泛化、个性化与隐私保证的安全 FPP 协议。SecFPP 采用具有领域级和类别级组件的分层提示适配，以处理多粒度数据不平衡。在隐私保护方面，它使用一种新颖的基于秘密共享的自适应聚类算法进行领域级适配，同时保持类别级组件私有。SecFPP 在理论和经验上都是安全的，并在数据分布严重异构的情况下实现了 SOTA 准确率。大量实验表明，它显著优于非隐私和隐私保护基线，提供了卓越的隐私-性能权衡。
引用
@article{arxiv.2505.22447,
title = {Privacy-preserving Prompt Personalization in Federated Learning for Multimodal Large Language Models},
author = {Sizai Hou and Songze Li and Baturalp Buyukates},
journal= {arXiv preprint arXiv:2505.22447},
year = {2025}
}
备注
Under Review