使用MLLMU-Bench保护多模态大语言模型中的隐私
计算与语言
2025-02-18 v2 人工智能
摘要
在大型网络语料库上训练的大语言模型(LLM)和多模态大语言模型(MLLM)等生成式模型能够记忆并泄露个人的机密和私有数据，引发了法律和伦理方面的担忧。尽管许多先前的工作已通过机器遗忘在LLM中解决了这个问题，但在MLLM中仍基本未被探索。为应对这一挑战，我们引入了多模态大语言模型遗忘基准(MLLMU-Bench)，这是一个旨在推进对多模态机器遗忘理解的新型基准。MLLMU-Bench包含500个虚构档案和153个公众人物档案，每个档案包含超过14个定制的问答对，并从多模态(图像+文本)和单模态(文本)两个角度进行评估。该基准分为四个集合，用于评估遗忘算法的有效性、泛化能力和模型效用。最后，我们使用现有的生成式模型遗忘算法提供了基线结果。令人惊讶的是，我们的实验表明，单模态遗忘算法在生成和完形填空任务中表现出色，而多模态遗忘方法在处理多模态输入的分类任务中表现更好。
引用
@article{arxiv.2410.22108,
title = {Protecting Privacy in Multimodal Large Language Models with MLLMU-Bench},
author = {Zheyuan Liu and Guangyao Dou and Mengzhao Jia and Zhaoxuan Tan and Qingkai Zeng and Yongle Yuan and Meng Jiang},
journal= {arXiv preprint arXiv:2410.22108},
year = {2025}
}
备注
NAACL Main 2025