多模态场景下视觉模型的跨模态稳定性-preserving 视觉遗忘
计算机视觉与模式识别
2025-09-30 v1 人工智能
摘要
视觉模态是真实世界多模态应用中最易泄露隐私的模态，例如结合视觉和雷达数据的自动驾驶;机器遗忘从预训练模型中移除特定训练数据以解决隐私泄露问题，但现有方法未能保持跨模态知识并维持保留数据的类内结构稳定性，导致在视觉遗忘期间整体及其他模态的性能下降;为此，我们提出了一种跨模态对比遗忘(CCU)框架，该框架集成了三个关键组件：(a)选择性视觉遗忘：采用逆向对比学习来解除视觉表征与其原始语义之间的关联; (b)跨模态知识保留：通过语义一致性保持其他模态的可区分性; (c)双集对比分离：通过隔离遗忘集和保留集之间的结构扰动来保持模型性能;在三个数据集上的大量实验表明，CCU 的优势显而易见，我们的方法仅用 7% 的遗忘时间即可实现 7.12% 的准确率提升。
引用
@article{arxiv.2509.23895,
title = {Preserving Cross-Modal Stability for Visual Unlearning in Multimodal Scenarios},
author = {Jinghan Xu Yuyang Zhang Qixuan Cai Jiancheng Chen Keqiu Li},
journal= {arXiv preprint arXiv:2509.23895},
year = {2025}
}
备注
9 pages,4 figures