CLIP 中的零样态类无记忆与合成样本

机器无记忆是重要的研究领域。它源于需要从模型中移除敏感信息，以保护个人在严格法规（如 GDPR）下享有被遗忘的权利。在本工作中，我们聚焦于 CLIP 中的无记忆，这是一种基于对比损失训练的大规模图像-文本配对数据的双模态视觉-语言编码器。为实现遗忘，我们将 Lipschitz 正则化扩展到 CLIP 的多模态上下文中。具体而言，我们确保与该类意图被遗忘的样本引入的扰动相对于该类的视觉和文本嵌入具有平滑性。此外，重要的是，我们通过梯度上升最大化目标类的合成样本来消除对真实遗忘数据的必要性。我们的遗忘程序是迭代式的，我们跟踪合成遗忘集合上的准确率，当准确率下降到选定阈值以下时即停止。我们采用基于其平均绝对梯度值的选择性层更新策略以缓解过度遗忘。我们在几个标准数据集上对我们的方法进行了验证，并提供了详尽的消融分析与与前人工作的比较。