SAFE：基于分片图的机器遗忘方法

我们提出协同感知遗忘集成（SAFE），一种在多样化数据集合上适配大型模型，同时最小化从训练模型中移除训练样本影响所需期望代价的方法。该过程亦称选择性遗忘或机器遗忘，通常通过将数据集划分为分片、在各分片上训练完全独立的模型、再集成所得模型来进行。增加分片数量可降低遗忘的期望代价，但同时会增加推理代价并降低模型最终精度，因为独立模型训练过程中样本间的协同信息丢失。SAFE 不将每个分片视为独立，而是引入分片图的概念，允许在训练期间融入来自其他分片的有限信息，以遗忘期望代价的适度增加换取精度的显著提升，同时在遗忘后仍实现残余影响的完全移除。SAFE 使用轻量级适配器系统，可在复用大部分计算的同时进行训练。这使得 SAFE 能以比当前最优方法小一个数量级的分片训练（从而降低遗忘代价），同时保持高精度，正如我们在细粒度计算机视觉数据集上的实证所展示。