SEMU：基于奇异值分解的高效机器遗忘
机器学习
2025-02-12 v1
摘要
尽管生成式基础模型的能力在近年来取得了快速进展，但防止有害和不安全行为的方法仍不成熟。在人工智能安全的 pressing 挑战中，机器遗忘 (MU) 已成为越来越关键的因素，以满足即将到来的安全法规。大多数现有 MU 方法专注于改变模型的最重要参数。然而，这些方法通常需要对模型的大部分进行微调，导致高计算成本和训练不稳定，这些问题通常通过访问原始训练数据集来缓解。本文通过利用奇异值分解 (SVD) 创建一种紧凑的低维投影，从而实现对特定数据点的选择性遗忘。我们提出了基于奇异值分解的高效机器遗忘 (SEMU)，一种新颖的方法，旨在优化 MU 的两个关键方面。首先，SEMU 最小化需要修改的模型参数的数量，有效地移除不受欢迎的知识，同时对模型的权重进行最小的更改。其次，SEMU 消除了对原始训练数据集的依赖，在不 requiring additional数据的情况下保留模型先前获取的知识。大量实验表明，SEMU 在数据使用和修改参数数量方面均显著提高了效率，同时实现了与竞争性性能相当的效果。
引用
@article{arxiv.2502.07587,
title = {SEMU: Singular Value Decomposition for Efficient Machine Unlearning},
author = {Marcin Sendera and Łukasz Struski and Kamil Książek and Kryspin Musiol and Jacek Tabor and Dawid Rymarczyk},
journal= {arXiv preprint arXiv:2502.07587},
year = {2025}
}