语言模型会剽窃吗？
计算与语言
2023-02-15 v2 人工智能
摘要
既往文献已表明，语言模型（LMs）常记忆训练实例的片段并在自然语言生成（NLG）过程中复现。然而，LMs 在多大程度上“重用”训练语料仍不明确。例如，模型可生成与训练样本语境相似的重述句。因此，在本工作中，我们研究了 GPT-2 生成文本中相对于其训练数据的三类剽窃（即逐字、改写与观点剽窃），并进一步分析了在实践中被广泛使用的、基于领域特定语料微调的 LMs 的剽窃模式。我们的结果表明：（1）除记忆外，三类剽窃广泛存在于 LMs 中；（2）LMs 的规模与解码方法均与其所表现出的剽窃程度强相关；（3）微调 LMs 的剽窃模式随其语料相似度与同质性而变化。鉴于 LMs 的大部分训练数据是在未告知内容所有者的情况下从网络抓取，其将训练集中的词语、短语乃至核心观点复现于生成文本中具有伦理意涵。随着 LMs 及其训练数据规模的增大，此类模式可能加剧，引发对不加区分地追求更大模型与更大数据集的担忧。被剽窃内容还可能包含个人的隐私与敏感信息。这些发现总体上令当前 LMs 在关键写作任务中的实用性受到质疑，并呼吁针对所观察现象展开更多讨论。数据与源代码见 https://github.com/Brit7777/LM-plagiarism。
引用
@article{arxiv.2203.07618,
title = {Do Language Models Plagiarize?},
author = {Jooyoung Lee and Thai Le and Jinghui Chen and Dongwon Lee},
journal= {arXiv preprint arXiv:2203.07618},
year = {2023}
}
备注
Accepted to WWW'23