你的算法是“忘学”还是“再训练”？
机器学习
2026-04-10 v1
摘要
随着模型规模增大和训练数据的增加，越来越多的人关注如何在训练后“删除”特定数据点或行为。此目标被称为“机器忘学”。本文指出，“忘学”一词已被过度使用，不同研究努力涉及两种不同的问题表述，却未得到公认。这导致各种问题，包括对算法何时有效的模糊、在比较不同算法时使用不恰当的指标和基线、难以解释结果，以及错失追求关键研究方向的机会。本文通过建立基本区别，将两种我们认定的概念分别称为 \unlearning 和 \untraining 来解决此问题。简而言之，\untraining 旨在逆转在给定忘记集上训练的影响，即移除该特定忘记集示例在训练期间对模型的影响。而 \unlearning 的目标不仅是移除这些示例的影响，更要利用这些示例来更广泛地移除其抽样的整个底层分布（例如，这些示例所代表的概念或行为）。我们讨论了这些问题的技术定义，并将文献中研究的情景映射到每个问题。我们希望发起讨论，以消除技术定义的歧义，并识别一组被忽视的研究问题，因为我们相信这是加速“忘学”领域进展的关键步骤。
引用
@article{arxiv.2604.07962,
title = {Is your algorithm unlearning or untraining?},
author = {Eleni Triantafillou and Ahmed Imtiaz Humayun and Monica Ribero and Alexander Matt Turner and Michael C. Mozer and Georgios Kaissis},
journal= {arXiv preprint arXiv:2604.07962},
year = {2026}
}