SineProject：面向视觉语言对齐的机器遗忘
计算机视觉与模式识别
2026-03-18 v2
摘要
多模态大语言模型（MLLMs）日益需要在不进行完整再训练的情况下忘记特定知识，如不安全或私有信息。然而，现有遗忘方法常常会破坏视觉语言对齐，导致模型拒绝有害和良性查询。我们追溯到投影器网络在遗忘过程中的问题，其雅可比矩阵严重病态，导致优化不稳定且跨模态嵌入发生漂移。我们引入 SineProject，一种简单方法，通过在冻结投影器上增添正弦调制可训练参数，改善雅可比矩阵的谱条件，从而在遗忘期间稳定对齐。基于 LLaVA v1.5 7B 和 13B，在标准安全和隐私遗忘基准测试中，SineProject 在实现完全遗忘目标信息的同时，显著减少了良性查询的拒绝率，实现了 state of the art 的遗忘-保留权衡，同时几乎没有额外计算开销。
引用
@article{arxiv.2511.18444,
title = {SineProject: Machine Unlearning for Stable Vision Language Alignment},
author = {Arpit Garg and Hemanth Saratchandran and Simon Lucey},
journal= {arXiv preprint arXiv:2511.18444},
year = {2026}
}
备注
Accepted at CVPR 2026