通过大型语言模型遗忘避免版权侵权
计算与语言
2025-02-12 v3
摘要
预训练的大型语言模型（LLM）展现了卓越的能力，但也因学习和生成受版权保护的内容而带来显著的法律和伦理风险。实际情况下，模型所有者需要持续应对不同时间点出现的版权侵权删除请求，这导致需要进行顺序遗忘，即随着新请求不断出现，逐步移除受版权保护的内容。尽管此问题具有实际意义，但现有文献对版权侵权情境下的顺序遗忘缺乏严格的探讨。为填补这一空白，本文提出一种新的框架——稳定顺序遗忘（SSU），旨在跨多个时间步骤从 LLM 中遗忘受版权保护的内容。我们的 метод 通过识别和移除模型参数中对应受版权保护内容的特定权重更新来实现。我们通过引入随机标签损失并调整目标参数，以确保模型保留其通用知识，从而提高遗忘效果。实验结果表明，SSU 在遗忘效果与通用语言能力之间实现了有效的平衡，优于现有基线方法。
引用
@article{arxiv.2406.10952,
title = {Avoiding Copyright Infringement via Large Language Model Unlearning},
author = {Guangyao Dou and Zheyuan Liu and Qing Lyu and Kaize Ding and Eric Wong},
journal= {arXiv preprint arXiv:2406.10952},
year = {2025}
}