KGA：一种基于知识鸿沟对齐的通用机器遗忘框架
计算与语言
2023-05-12 v1
摘要
近期“被遗忘权”相关立法引发了人们对机器遗忘的兴趣，即赋予已学习模型遗忘特定训练样本信息的功能，仿佛这些样本从未存在于训练集中。以往工作主要关注计算机视觉场景，并在很大程度上忽视了 NLP 领域遗忘的本质，其中文本数据比图像包含更明确且敏感的个人隐私信息。本文中，我们提出一种称为 KGA 的通用遗忘框架以诱导遗忘。不同于以往试图恢复梯度或迫使模型逼近某一特定分布的工作，KGA 保持分布差异（即知识鸿沟）。这放宽了分布假设。此外，我们首次将遗忘方法应用于多种 NLP 任务（即分类、翻译、回复生成），并针对性地提出若干遗忘评估指标。在大规模数据集上的实验表明，KGA 相较基线取得全面改进，其中大量分析进一步验证了 KGA 的有效性，并为 NLP 任务的遗忘提供了见解。
引用
@article{arxiv.2305.06535,
title = {KGA: A General Machine Unlearning Framework Based on Knowledge Gap Alignment},
author = {Lingzhi Wang and Tong Chen and Wei Yuan and Xingshan Zeng and Kam-Fai Wong and Hongzhi Yin},
journal= {arXiv preprint arXiv:2305.06535},
year = {2023}
}
备注
Accepted to ACL 2023