面向最大-最小不可学习的保留-中性替代方案
机器学习
2026-05-08 v1
摘要
机器不可学习旨在在保留剩余数据性能的同时移除指定训练数据的影响。近似不可学习可视为局部编辑问题；在最大-最小不可学习中，关键局部对象是用于评估保留目标的替代点。当忘记和保留梯度强烈对齐时，受限的忘记最大化扰动可能导致替代点增加保留损失。我们提出保留-正交替代方案不可学习 (ROSU)，其约束替代点的内构建，以在固定扰动预算下最大化一阶忘记收益，同时实现零一阶保留变化。这产生闭形式的保留-正交扰动、轻量级的传输型外层更新，以及在保留中性方向上的放大。我们的分析建立在 (i) 保留损伤的曲率控制二阶界限、(ii) 在正相关 regime 下，ROSU 严格降低替代保留损失相对于标准最大-最小扰动、以及 (iii) 当两个梯度几乎正交时接近等价。在视觉和语言基准测试 (CIFAR-10/100、Tiny-ImageNet、TOFU、WMDP) 上，经验模式遵循此几何：ROSU 在高耦合 regime 中获益最明显，而在其他情况下保持竞争力。
引用
@article{arxiv.2605.05871,
title = {Retain-Neutral Surrogates for Min-Max Unlearning},
author = {Junhao Cai and Dohun Kim and Dowon Kim and Sung Il Choi and Chengjun Jin and Juhyun Park and Changhee Joo},
journal= {arXiv preprint arXiv:2605.05871},
year = {2026}
}
备注
39 pages