大型语言模型的版权陷阱

关于使用受版权保护的内容训练大型语言模型（LLM）的合理使用问题正在激烈辩论中。文档级推理被提出作为一项新任务：通过黑盒访问训练好的模型来推断某段内容是否在训练期间被看到。然而，SOTA方法依赖于对（部分）内容的自然记忆。虽然对记忆显著内容的模型非常有效，但我们假设——后来也证实——它们对不会自然记忆的模型（例如中等规模的1B模型）不起作用。我们在此提出使用版权陷阱，即在原始内容中包含虚构条目，以检测LLM中受版权保护材料的使用，重点关注不会自然记忆的模型。我们精心设计了一个随机对照实验设置，将陷阱插入原始内容（书籍）中，并从零开始训练一个1.3B的LLM。我们首先验证，使用现有方法无法检测到目标模型中内容的使用。然后我们表明，与直觉相反，即使是重复多次（100次）的中等长度陷阱句子，使用现有方法也无法检测到。然而，我们表明，重复大量次数的较长序列可以被可靠地检测到（AUC=0.75），并用作版权陷阱。除了版权应用之外，我们的发现还有助于研究LLM记忆：随机对照实验设置使我们能够得出记忆与某些序列属性（如模型训练数据中的重复性和困惑度）之间的因果关系。