从开放权重语言模型中提取（受版权保护的）书籍的记忆片段
计算与语言
2026-05-05 v5 计算机与社会
机器学习
摘要
在关于生成式人工智能的版权诉讼中，原告和被告经常就大语言模型（LLMs）在多大程度上记忆了其训练数据中书籍的受保护表达，提出截然相反且笼统的主张。我们表明，这些两极分化的立场极大地简化了记忆与版权之间的关系。为此，我们开发了一种衡量书籍记忆程度的技术，并将其应用于 200 本书和 14 个开放权重的大语言模型。通过超过 3000 次实验，我们表明记忆程度因模型和书籍而异。就我们特定的提取方法而言，我们发现大多数大语言模型并未记忆大多数书籍——无论是整体还是部分；然而，存在显著的例外。例如，Llama 3.1 70B 完全记忆了某些书籍，如《哈利·波特与魔法石》；记忆程度如此之广，以至于可以仅使用书籍的前几个词作为初始提示，几乎逐字地确定性提取整本书。我们讨论了为何我们的结果对版权案件具有重大意义，尽管这些意义并非明确地有利于任何一方。
引用
@article{arxiv.2505.12546,
title = {Extracting memorized pieces of (copyrighted) books from open-weight language models},
author = {A. Feder Cooper and Mark A. Lemley and Allison Casasola and Ahmed Ahmed and Aaron Gokaslan and Amy B. Cyphert and Christopher De Sa and Daniel E. Ho and Percy Liang},
journal= {arXiv preprint arXiv:2505.12546},
year = {2026}
}