MMUnlearner：面向多模态大语言模型时代的多模态机器忘却重构
计算与语言
2025-05-28 v4 人工智能
摘要
近期进展表明，机器忘却（MU）已为从深层神经网络中选择性删除私人或敏感信息提供了解决方案。然而，针对多模态大语言模型（MLLMs）的 MU 仍处于初步阶段。因此，我们提出了在 MLLMs 时代重新构建多模态 MU 的任务，该任务旨在仅删除与给定实体相关的视觉模式，同时保留语言模型主干参数中编码的相应文本知识。此外，我们开发了一种新颖的几何约束梯度上升方法 MMUnlearner。它在忘却过程中，以权重灵敏度图形式更新 MLLMs 的权重，同时受限于剩余概念和文本知识，从而保留对非目标知识所必需的参数。广泛的实验表明，MMUnlearner 在所有评估维度上均优于直接通过梯度上升（GA）或负偏好优化（NPO）进行微调的基准方法。我们的代码可在[此处](https://github.com/Z1zs/MMUnlearner)找到。
关键词
引用
@article{arxiv.2502.11051,
title = {MMUnlearner: Reformulating Multimodal Machine Unlearning in the Era of Multimodal Large Language Models},
author = {Jiahao Huo and Yibo Yan and Xu Zheng and Yuanhuiyi Lyu and Xin Zou and Zhihua Wei and Xuming Hu},
journal= {arXiv preprint arXiv:2502.11051},
year = {2025}
}
备注
Accepted as ACL 2025 Findings