多模态机器遗忘中的度量不可靠性：系统性分析与统一评分
摘要
视觉语言模型（Vision-Language Models, VLMs）中的机器遗忘是为遵循通用数据保护法规（GDPR）而必需的，但当前的评估实践存在不一致性。我们首次系统性研究了多模态遗忘中度量的可靠性。五个标准度量——遗忘准确率（Forget Accuracy, FA）、保留准确率（Retain Accuracy, RA）、成员推断攻击（Membership Inference Attack, MIA）、激活距离（Activation Distance, AD）和 JS 散度（JS），在三个 VQA 基准（MLLMU-Bench、UnLOK-VQA、MMUBench）上导致方法排名冲突。对 36 个未遗忘的 LLaVA-1.5-7B 模型进行 Kendall tau 分析，揭示两个相互对立的聚类，{FA, RA, MIA} 和 {AD, JS}，其中 tau_FA_AD = -0.26，在 BLIP-2 OPT-2.7B 上复现。单模态分类（平均 tau = 0.158）的协调一致性低于多模态 VQA（平均 tau = 0.086），表明双图像-文本路径放大了不一致性。我们引入统一质量评分（Unified Quality Score, UQS），这是一种综合度量，其权重来源于每个度量与 oracle 距离 d(M_hat, M_star) 的斯皮曼相关系数，其中 M_star 是仅在保留集上重新训练的 oracle 模型。RA 显示出最强的可靠性（rho = 0.484, p = 0.003），而 FA 呈负相关（rho = -0.418, p = 0.011）。UQS 在 100 次随机权重扰动下保持稳定的排名（tau = 0.647 +- 0.262）。我们发布了基准测试、36 个检查点以及交互式排行榜。代码和预计算结果可在 https://github.com/neurips26/UnifiedUnl 获取。
关键词
引用
@article{arxiv.2605.02206,
title = {Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score},
author = {Abdullah Ahmad Khan and Hamid Laga and Ferdous Sohel},
journal= {arXiv preprint arXiv:2605.02206},
year = {2026}
}
备注
9 Pages , 6 figures, Neurips 2026