基于自模式连通性引导的流形表示近似机器遗忘
机器学习
2026-05-25 v1 人工智能
机器学习
摘要
机器遗忘是一种基本机制，实现‘被遗忘’的权利。现有依赖标签操控或任务梯度反转的遗忘研究往往只能提供有限的遗忘效果，而且可能破坏原始学习目标，通常无法保证与标准重新训练等价。本文提出了 ManiF-SMC（Manifold Forgetting with Self Mode Connectivity），灵感来自模型在剩余数据上重新训练后倾向于通过语义相似性对被擦除样本进行分类的观察。我们系统性地将近似遗忘重构为：将每个被擦除样本在其原始学习流形表示质心处的距离推向其在保留数据中最近的语义邻居。这种重构使遗忘与重新训练行为一致，仅在表示空间内操作，减少了对标签和任务特定梯度的依赖。为解决基于流形表示的遗忘问题，ManiF-SMC 将遗忘目标与表示保留目标封装为基于间隔的三元组损失。由于为遗忘寻找合适间隔具有挑战性，我们提出了自模式连通性模块，用于快速重建局部流形，指导为每种遗忘情况生成自适应间隔。在四个代表性数据集上的大量实验表明，ManiF-SMC 在保持仅基于表示空间操作的优势同时，达到了与最先进近似方法相当的遗忘效果。
引用
@article{arxiv.2605.22871,
title = {Approximate Machine Unlearning through Manifold Representation Forgetting Guided by Self Mode Connectivity},
author = {Weiqi Wang and Zhiyi Tian and Chenhan Zhang and Luoyu Chen and Shui Yu},
journal= {arXiv preprint arXiv:2605.22871},
year = {2026}
}