LLM 最坏情况版权侵权的认证缓解
计算与语言
2025-04-24 v2
摘要
大型语言模型（LLM）在预训练过程中暴露于受版权保护的材料，引发部署后意外版权侵权的担忧。这推动了开发“版权删除”方法，后者是旨在防止模型生成与受版权保护内容严格相似的生成内容的后训练方法。尽管当前的缓解方法在平均案例风险方面有一定效果，但我们展示了它们忽略了由长篇原文摘录所体现的 worst-case 版权风险。我们提出了 BloomScrub，一种极其简单却高度有效的推理时方法，提供认证的版权删除。我们的方法反复交错地进行引号检测和重写技术，以转换可能侵犯的片段。通过利用高效数据草图（布卢姆滤波器），我们的做法即使针对大规模真实世界语料库也可实现可扩展的版权筛选。当无法超过长度阈值的引号被删除时，系统可选择不作答，从而提供认证的风险降低。实验结果表明，BloomScrub 降低了侵权风险，保持了实用性，并能适应不同严格程度的强制执行通过自适应回避。我们的结果表明，轻量级的推理时方法在版权预防方面竟然相当有效。
关键词
引用
@article{arxiv.2504.16046,
title = {Certified Mitigation of Worst-Case LLM Copyright Infringement},
author = {Jingyu Zhang and Jiacan Yu and Marc Marone and Benjamin Van Durme and Daniel Khashabi},
journal= {arXiv preprint arXiv:2504.16046},
year = {2025}
}