大型多模态模型忘卸的实用评估场景——PULSE
机器学习
2025-10-29 v4 人工智能
摘要
近年来，忘卸技术——即使模型"忘卸"先前学习信息的方法——因能够解决大型语言模型(LLM)和大型多模态模型(LMM)中的隐私和版权问题而引起广泛关注。尽管已为LLM建立了几个忘卸基准测试，但针对LMM的实用评估框架仍较少被探讨。具体而言，现有的LMM忘卸基准仅考虑模型通过单次忘卸操作来忘卸微调知识的情景。本研究引入PULSE协议，以针对LMM的真实世界忘卸情景引入两个关键视角：(i) 预训练知识忘卸，用于分析不同知识获取阶段的影响；(ii) 长期可持续性评估，以应对顺序请求。随后，我们沿这些维度评估了现有的忘卸方法。我们的结果揭示了，尽管某些技术能够成功忘卸通过微调获取的知识，但它们在消除预训练阶段学习信息方面存在困难。此外，能够在单次操作中有效忘卸一批目标数据的方法，在相同数据被分割并顺序忘卸时，表现出显著的性能下降。
引用
@article{arxiv.2507.01271,
title = {PULSE: Practical Evaluation Scenarios for Large Multimodal Model Unlearning},
author = {Tatsuki Kawakami and Kazuki Egashira and Atsuyuki Miyai and Go Irie and Kiyoharu Aizawa},
journal= {arXiv preprint arXiv:2507.01271},
year = {2025}
}
备注
Accepted at NeurIPS 2025 Workshop: Evaluating the Evolving LLM Lifecycle