面向视觉语言模型的无对象幻觉强化遗忘方法
计算机视觉与模式识别
2026-05-11 v1
摘要
视觉语言模型（VLM）引发了日益增长的隐私、版权和偏见担忧，这促使了机器遗忘技术的发展，以移除敏感知识。然而，现有方法主要微调语言解码器，导致浅层遗忘，未能消除底层的视觉表征，并常常引入对象幻觉。我们提出 HFRU，这是一个作用于视觉编码器的强化遗忘框架，用于深度语义移除。我们的两阶段方法将对齐破坏与基于 GRPO 的优化相结合，使用复合奖励，其中包括一个抽象奖励，鼓励语义上有效的替换并减轻幻觉。在对象识别和人脸身份任务上的实验表明，HFRU 实现了超过 98% 的遗忘率和保留率，同时引入可忽略不计的对象幻觉，显著优于先前的方法。我们的代码和实现细节可在 https://github.com/XMUDeepLIT/HFRU 获取。
引用
@article{arxiv.2605.08031,
title = {Object Hallucination-Free Reinforcement Unlearning for Vision-Language Models},
author = {Kaidi Jia and Yujie Lin and Chengyi Yang and Jiayao Ma and Jinsong Su},
journal= {arXiv preprint arXiv:2605.08031},
year = {2026}
}