通过自适应模型融合实现语言模型的强版权保护
机器学习
2024-07-30 v1 密码学与安全
摘要
语言模型意外复制其训练数据中受版权保护材料的风险已导致发展出各种保护措施。本文提出模型融合作为一种有效解决方案，以保护免受版权侵权。具体而言，我们引入了版权保护融合（CP-Fuse），这是一种自适应组合语言模型的算法，以最小化受保护材料的复制。CP-Fuse 灵感来自最近提出的近似可访问自由（NAF）框架，并额外包含我们证明可防止复制记忆训练数据的平衡属性。我们的结果表明，CP-Fuse 在保持高质量文本和代码生成的同时，显著减少了受版权保护内容的记忆。此外，我们演示了如何将 CP-Fuse 与其他技术集成以实现更好的保护。
引用
@article{arxiv.2407.20105,
title = {Strong Copyright Protection for Language Models via Adaptive Model Fusion},
author = {Javier Abad and Konstantin Donhauser and Francesco Pinto and Fanny Yang},
journal= {arXiv preprint arXiv:2407.20105},
year = {2024}
}