FOCUS：通过语言模型自我抄袭中的对比使用锻造原创性

预训练语言模型（PLMs）在各种自然语言生成（NLG）任务中展现了令人印象深刻的结果，例如驱动聊天机器人和生成故事。然而，一个伦理问题出现了，因为它们有可能从其训练数据中逐字复制段落。这是有问题的，因为PLMs是在由人类作者构建的语料库上训练的。因此，迫切需要研究促进这些模型生成原创内容。在这项研究中，我们引入了一种独特的“自我抄袭”对比解码策略，旨在提高PLMs生成文本的原创性。我们的方法包括修改LLMs中的提示，以开发一个业余模型和一个专业模型。具体来说，业余模型被敦促使用我们设计的三种抄袭模板进行抄袭，而专业模型保持其标准语言模型状态。该策略利用提示来刺激模型识别非原创候选标记组合的能力，并随后施加惩罚。该策略的应用在模型的最后一层之前集成，确保与大多数现有PLMs（T5、GPT、LLaMA）无缝集成，无需进一步调整。实施我们的策略后，我们观察到在学术AASC数据集和基于故事的ROCStories数据集中，包含三个以上单词的非原创序列显著减少。