利用权重量化对大语言模型进行水印嵌入
计算与语言
2023-10-18 v1
摘要
大语言模型的滥用随着其以惊人速度部署而显现出高风险。保护模型权重以避免违反开源大语言模型许可的恶意使用十分重要。本文提出一种新颖的水印策略，在大语言模型的量化过程中植入水印，且在推理时无需预定义触发器。该水印在模型以 fp32 模式使用时生效，而在模型被量化为 int8 时保持隐藏，以此使用户只能推理模型而无法对模型进行进一步的监督微调。我们成功将水印植入包括 GPT-Neo 和 LLaMA 在内的开源大语言模型权重中。我们希望所提方法能为大语言模型应用时代保护模型权重提供一个潜在方向。
引用
@article{arxiv.2310.11237,
title = {Watermarking LLMs with Weight Quantization},
author = {Linyang Li and Botian Jiang and Pengyu Wang and Ke Ren and Hang Yan and Xipeng Qiu},
journal= {arXiv preprint arXiv:2310.11237},
year = {2023}
}
备注
Accepted by Findings of EMNLP2023