CE-U：基于交叉熵的无学习方法
机器学习
2025-03-18 v4
摘要
大型语言模型会记忆其预训练语料库中的敏感数据。本文提出了 CE-U（Cross Entropy Unlearning），一种用于无学习的损失函数。CE-U 解决了梯度上升方法的根本局限性，这些方法在模型置信度较高时会出现梯度消失，在置信度较低时会出现梯度爆炸。我们还将标准的交叉熵学习和无学习统一到一个框架中。在用于无学习的 TOFU 数据集基准测试中，CE-U 在 LLaMA2-7B 模型上实现了最先进的结果，无需额外的 oracle 模型或额外的正样本。我们的分析揭示了问题性的梯度上升组件也存在于诸如 DPO 和 GRPO 等强化学习算法中。这表然意味着将 CE-U 方法应用于强化学习可能是一种有前景的做法，以提高稳定性和收敛性。
引用
@article{arxiv.2503.01224,
title = {CE-U: Cross Entropy Unlearning},
author = {Bo Yang},
journal= {arXiv preprint arXiv:2503.01224},
year = {2025}
}