基于忘却集梯度的方差减小 $(\varepsilon,\delta)-$ 取消学习
机器学习
2026-02-17 v1 最优化与控制
摘要
在机器取消学习中， 取消学习是一种流行框架，提供对从训练模型中删除忘却数据子集（忘却集）效果的正式保证。对于强凸目标，现有的一次阶方法实现 取消学习，但它们仅使用忘却集来校准注入噪声，从不作为直接优化信号。相比之下，高效经验法则常常利用忘却样本（例如通过梯度上升），但缺乏正式的取消学习保证。我们通过 presenting 方差减小取消学习 (VRU) 算法来弥合这一差距。据我们所知，VRU 是首个直接将忘却集梯度纳入更新规则的一阶算法，同时在保证 取消学习的同时 provable。我们建立了 VRU 的收敛性，表明纳入忘却集 yield 严格改进的收敛率，即相对于现有一次阶 取消学习方法实现的误差更好依赖。此外，我们证明在低误差 regime 中，VRU 渐近上胜任何忽略忘却集的一阶方法。实验证实了我们的理论，显示 VRU 在对 state-of-the-art 认证取消学习方法和明确利用忘却集的经验基准之间 consistently 获得收益。
引用
@article{arxiv.2602.14938,
title = {Variance-Reduced $(\varepsilon,\delta)-$Unlearning using Forget Set Gradients},
author = {Martin Van Waerebeke and Marco Lorenzi and Kevin Scaman and El Mahdi El Mhamdi and Giovanni Neglia},
journal= {arXiv preprint arXiv:2602.14938},
year = {2026}
}