SIMU：选择性影响机器遗忘
机器学习
2025-10-10 v1 人工智能
摘要
大型语言模型（LLM）对敏感信息的不可控记忆存储强调了需要安全机制来调节模型行为的需求。这促使了机器遗忘技术的发展，这些技术使模型能够精确地遗忘敏感且不必要的信息。对于机器遗忘，基于一阶和二阶优化器的方法在使LLM遗忘目标信息方面取得了显著进展。然而，这些方法往往会损害模型的原始能力，导致遗忘后的模型在保留先前知识和整体实用性方面表现不佳。为此，我们提出了选择性影响机器遗忘（Selective Influence Machine Unlearning, SIMU），一个两步框架，通过仅更新负责编码遗忘集合的关键神经元来增强基于二阶优化器的遗忘技术。通过限制对这些受目标神经元的更新，SIMU在保持相当的遗忘效果的同时，在保留模型原始知识方面显著优于当前方法。
引用
@article{arxiv.2510.07822,
title = {SIMU: Selective Influence Machine Unlearning},
author = {Anu Agarwal and Mihir Pamnani and Dilek Hakkani-Tur},
journal= {arXiv preprint arXiv:2510.07822},
year = {2025}
}
备注
Accepted to NeurIPS 2025 Workshop: Constrained Optimization for Machine Learning (COML)