SOUL：释放二阶优化在LLM遗忘中的潜力
机器学习
2024-06-26 v4 计算与语言
摘要
大型语言模型（LLM）凸显了有效遗忘机制的必要性，以符合数据法规和道德AI实践。LLM遗忘旨在消除不需要的数据影响及其相关的模型能力，同时不损害遗忘范围之外的模型效用。尽管人们对LLM遗忘的研究兴趣日益增长，但优化器选择对LLM遗忘的影响仍未得到探索。在这项工作中，我们首次阐明了优化器选择在LLM遗忘中的重要性，建立了二阶优化与影响遗忘（一种使用影响函数更新模型以消除数据影响的经典方法）之间的明确联系。这一见解促使我们开发了一个基于二阶优化的LLM遗忘框架，称为二阶遗忘（SOUL），它将使用影响遗忘的静态、一次性模型更新扩展为动态、迭代的遗忘过程。我们的广泛实验表明，在各种遗忘任务、模型和指标上，SOUL始终优于传统的一阶优化方法，表明二阶优化为LLM遗忘提供了一种有效且广泛适用的解决方案。代码可在https://github.com/OPTML-Group/SOUL获取。
引用
@article{arxiv.2404.18239,
title = {SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning},
author = {Jinghan Jia and Yihua Zhang and Yimeng Zhang and Jiancheng Liu and Bharat Runwal and James Diffenderfer and Bhavya Kailkhura and Sijia Liu},
journal= {arXiv preprint arXiv:2404.18239},
year = {2024}
}