探讨通过大型语言模型无学习消除潜在版权侵权的可行性
计算与语言
2025-02-12 v1
摘要
预训练的大型语言模型（LLM）展现出惊人的能力，但也因学习并生成受版权保护的内容而带来风险，引发重大法律与伦理争议。在现实情境中，模型所有者可能需要持续应对不同时点出现的版权侵权请求，以实现内容删除。一个可能的解决方法是顺序无学习（sequential unlearning），即随着新请求不断出现，逐步移除受版权保护的内容。尽管其实际应用前景广阔，但现有文献对版权侵权情境下的顺序无学习尚未进行严格探讨。为填补这一空白，我们提出稳定顺序无学习（Stable Sequential Unlearning, SSU）框架，该框架旨在多时间步从LLM中无学习受版权保护的内容。我们的做法通过任务向量识别并移除模型参数中对应受版权保护内容的特定权重更新。通过引入随机标签损失并通过基于梯度的权重灵敏度调整有针对性的参数，以确保模型保留其通用知识，我们改进了无学习效果。大量实验结果表明，SSU时而能够在无学习效果与通用语言能力之间实现有效的权衡，超越现有基线，尽管并非无学习受版权保护材料的灵丹妙药。
引用
@article{arxiv.2412.18621,
title = {Investigating the Feasibility of Mitigating Potential Copyright Infringement via Large Language Model Unlearning},
author = {Guangyao Dou},
journal= {arXiv preprint arXiv:2412.18621},
year = {2025}
}
备注
arXiv admin note: substantial text overlap with arXiv:2406.10952