通过留一集成方法使语言模型遗忘私有文本序列
计算与语言
2023-09-29 v1 人工智能
摘要
近期研究表明，语言模型倾向于记忆训练语料中罕见或独特的词元序列。在部署模型后，从业者可能会根据个人请求被要求从模型中删除任何个人信息。每当个人希望行使其被遗忘权时都重新训练底层模型，在计算上代价高昂。我们采用师生框架，提出一种新颖的留一集成方法，使模型遗忘需要被删除的目标文本序列。在我们的方法中，多个教师在互不相交的数据集上训练；对于待移除的每个目标序列，我们排除在该序列所属集合上训练的教师，并聚合其余教师的预测以在微调过程中提供监督。在 LibriSpeech 和 WikiText-103 数据集上的实验表明，所提方法比其他同类方法实现了更优的隐私-效用权衡。
引用
@article{arxiv.2309.16082,
title = {Forgetting Private Textual Sequences in Language Models via Leave-One-Out Ensemble},
author = {Zhe Liu and Ozlem Kalinli},
journal= {arXiv preprint arXiv:2309.16082},
year = {2023}
}