二阶信息 matters：通过 Hessian 视角重访大语言模型的机器遗忘
机器学习
2024-03-19 v1 人工智能
计算与语言
摘要
随着大语言模型（Large Language Models, LLMs）的快速发展，我们见证了像 ChatGPT、LLaMa 和 Gemini 这样的主要 LLM 产品之间激烈的竞争。然而，训练语料库中的各种问题（如隐私泄露和版权侵权）仍悬而未解。例如，《纽约时报》起诉 OpenAI 和 Microsoft，指控其通过使用数百万篇文章进行训练而侵犯了其版权。从 LLM 从业者的角度来看，处理此类意外隐私侵权可能颇具挑战。以前的工作仅使用一阶信息（gradient）来解决 LLMs 的“遗忘”问题，而这些方法往往引入显著的计算开销（如数据预处理）或缺乏鲁棒性。本文则从二阶信息（Hessian）的角度重新审视遗忘问题。我们基于经典 Newton 更新方法提出的遗忘算法，既数据agnostic/model-agnostic，又在实用性保存和隐私保证方面被证明具有鲁棒性。通过在四个 NLP 数据集上的全面评估以及对真实数据集的案例研究，我们的方法在与一阶方法相比时始终表现出优势。
关键词
引用
@article{arxiv.2403.10557,
title = {Second-Order Information Matters: Revisiting Machine Unlearning for Large Language Models},
author = {Kang Gu and Md Rafi Ur Rashid and Najrin Sultana and Shagufta Mehnaz},
journal= {arXiv preprint arXiv:2403.10557},
year = {2024}
}