Stake the Points：结构忠实的实例遗忘

机器遗忘（MU）解决预训练模型中的隐私风险。MU 的主要目标是在保留剩余知识的同时删除指定数据的影响。实现这一目标需要在保留剩余实例的语义关系方面发挥作用，而现有研究往往忽视了这一点。我们观察到，在没有这种保持的情况下，模型会受到逐渐的结构性崩溃，这会削弱删除-保留平衡。本文提出一种新型结构忠实框架，引入 stakes，即作为参考点的语义锚点，用于维持知识结构。通过利用这些锚点，我们的框架捕获并稳定了知识的语义组织。具体而言，我们从由语义编码器（如 CLIP）编码的语言驱动属性描述中实例化锚点。我们通过结构感知对齐和规则化来实现知识结构的保持：前者围绕锚点对保留知识在遗忘前后的组织进行对齐，而后者则调节对结构关键参数的更新。来自图像分类、检索和人脸识别的实验结果显示，在保持删除-保留平衡并增强泛化能力方面，分别实现了 32.9%、22.5% 和 19.3% 的平均性能提升。