知识向量弱化：大型视觉语言模型的高效无训练取消学习方法
机器学习
2026-01-30 v1
摘要
大型视觉语言模型（LVLMs）因其强大的多模态能力而广泛采用，但也引发了隐私泄露和有害内容生成等严重顾虑。机器取消学习已成为解决从训练模型中移除特定数据影响的有前景的方案。然而，现有方法主要依赖基于梯度的优化，对于大规模 LVLMs 造成巨大的计算成本。为解决这一限制，我们提出了知识向量弱化（KVW），一种无需梯度计算的训练-free 取消学习方法，直接干预整个模型。KVW 识别在模型在忘记数据集上生成输出时激活的知识向量，并逐渐减弱其贡献，从而防止模型利用不良知识。在 MLLMU 和 CLEAR 基准测试上的实验表明，KVW 在忘记-保留权衡方面实现了稳定的表现，同时显著提高了相对于基于梯度和 LoRA 基于取消学习方法的计算效率。
引用
@article{arxiv.2601.21794,
title = {Knowledge Vector Weakening: Efficient Training-free Unlearning for Large Vision-Language Models},
author = {Yejin Kim and Dongjun Hwang and Sungmin Cha and Junsuk Choe},
journal= {arXiv preprint arXiv:2601.21794},
year = {2026}
}