通过自适应模型融合实现版权保护的语言生成

语言模型从训练数据中复现受版权保护材料的风险催生了多种保护措施。其中，通过后处理施加约束的推理时策略在应对版权监管的复杂性方面展现出前景。然而，它们往往带来高昂的计算成本或存在性能权衡。为克服这些局限，我们提出版权保护模型融合（CP-Fuse），一种在推理时组合在不相交的受版权保护材料集上训练的模型的新方法。特别地，CP-Fuse自适应地聚合模型输出以最小化受版权保护内容的复现，遵循防止记忆数据回吐的关键平衡性质。通过大量实验，我们证明CP-Fuse在不损害文本和代码生成质量的前提下显著降低了受保护材料的复现。此外其后验性质使其能与其他保护措施无缝集成，进一步增强版权保护。最后，我们证明CP-Fuse对常见的训练数据提取技术具有鲁棒性。