面向多模态大语言模型的隐私保护个性化联邦提示学习
机器学习
2025-02-14 v3
摘要
多模态大语言模型 (LLM) 在通过集成文本、图像和音频等多种模态，正在彻底变革客户支持和运营。联邦提示学习 (FPL) 是一种新近提出的方法，将预训练的多模态 LLM（如视觉语言模型）与联邦学习相结合，以创建具有个性化和隐私保护特性的 AI 系统。然而，在个性化、通用性和隐私性之间取得平衡仍是一个重大挑战。过度个性化可能导致过拟合，降低可泛化性；而严格的隐私措施（如差分隐私）则可能阻碍个性化和可泛化。在本文中，我们提出一种差分隐私联邦提示学习 (DP-FPL) 方法，通过低秩分解方案捕获可泛化性，同时保留残差项以维持个性化的表达力。为确保隐私，我们引入一种新方法：对局部提示的两个低秩分量应用局部差分隐私，对全局提示应用全局差分隐私。我们的方法在保持模型性能的同时，平衡了个性化与可泛化性之间的权衡。大量实验表明，我们的方法在多个基准测试中均表现出色。
引用
@article{arxiv.2501.13904,
title = {Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models},
author = {Linh Tran and Wei Sun and Stacy Patterson and Ana Milanova},
journal= {arXiv preprint arXiv:2501.13904},
year = {2025}
}