双塔机器遗忘：知识蒸发与聚集
机器学习
2024-12-03 v1
摘要
针对“被遗忘权”和删除不良数据点的实际需求，机器遗忘技术成为从训练好的模型中去除部分数据点所学知识的关键方法。然而，现有方法存在方法论支持不足、计算复杂度高、内存需求大等局限。本文提出知识蒸发与聚集的概念，以在保持剩余数据表征的前提下，选择性地擦除特定数据点所学知识。采用双塔网络结构，本文示例化了所提概念，开发了一种高效的机器遗忘方法。所提出的双塔遗忘方法无需额外内存开销，也无需对剩余数据集进行完全访问。跨多个遗忘场景的大量实验表明，双塔遗忘在基线方法之上具有优势，展示了其有效去除遗忘数据知识、提升剩余数据模型实用性以及降低成员推断攻击敏感性的能力。
引用
@article{arxiv.2412.01207,
title = {Siamese Machine Unlearning with Knowledge Vaporization and Concentration},
author = {Songjie Xie and Hengtao He and Shenghui Song and Jun Zhang and Khaled B. Letaief},
journal= {arXiv preprint arXiv:2412.01207},
year = {2024}
}