减去腐败：无训练数据自纠正机器忘卸
机器学习
2025-11-26 v2 机器学习
摘要
腐败的训练数据十分常见。纠正机器忘卸 (CMU) 旨在训练后移除此类腐败的影响。先前的 CMU 方法通常假设可获取已识别的腐败训练样本（“忘卸集合”）。然而，在许多实际场景中，训练数据不可访问。我们形式化了 source-free CMU，即原始训练数据不可用，因此无法指定已识别的腐败训练样本的忘卸集合。相反，我们假设存在一小部分反映 suspected 腐败类型且无需为原始训练样本的代理（surrogate）腐败样本。在此更严格的设置下，依赖忘卸集合的方法无效或范围有限。我们引入基于任务算术原理引导的代理集进行的任务空间中的纠正忘卸 (CUTS)，这是一种轻量级的权空间纠正方法。CUTS 将干净信号与腐败信号视为 distinct 任务。具体而言，我们简短地在代理集上微调受腐败模型以放大权空间中的腐败机制，计算受腐败权重与微调后权重的差异作为代理任务向量，并减去经校准的倍数该向量以取消腐败。在无需访问干净数据或忘卸集合的情况下，CUTS 在标签噪声下恢复了大部分失去的实用性，而对于后门触发几乎消除攻击，同时对实用性造成最小损伤，在 source-free 设置下超越了当前最先进的专门 CMU 方法。
引用
@article{arxiv.2511.18660,
title = {Subtract the Corruption: Training-Data-Free Corrective Machine Unlearning using Task Arithmetic},
author = {Mostafa Mozafari and Farooq Ahmad Wani and Maria Sofia Bucarelli and Fabrizio Silvestri},
journal= {arXiv preprint arXiv:2511.18660},
year = {2025}
}