在水印密钥冲突下，无失真水印并非真正无失真
密码学与安全
2024-06-06 v1 机器学习
摘要
语言模型（LM）水印技术通过替换随机采样过程为伪随机采样过程来将统计信号注入LM生成的内容中，使用水印密钥作为随机种子。尽管如此，统计性水印方法中，无失真水印尤为重要，因为它们能够在不损害生成质量的前提下将水印嵌入LM生成的内容中。然而，与真随机采样相比，伪随机采样的一个显著局限性在于，在相同的水印密钥下（即密钥冲突），伪随机采样的结果存在相关性。这一局限性可能潜在地破坏无失真特性。我们的研究发现，由于水印密钥的可用性有限，密钥冲突是不可避免的，而现有的无失真水印在密钥冲突存在时，会对原始LM分布产生显著的分布偏置。此外，无法在密钥冲突下嵌入任何统计信号，因此实现完美的无失真水印是不可能的。为减少由密钥冲突导致的分布偏置，我们引入了一类新的无失真水印——β型水印。实验结果支持β型水印能够有效减少密钥冲突下的分布偏置。
引用
@article{arxiv.2406.02603,
title = {Distortion-free Watermarks are not Truly Distortion-free under Watermark Key Collisions},
author = {Yihan Wu and Ruibo Chen and Zhengmian Hu and Yanshuo Chen and Junfeng Guo and Hongyang Zhang and Heng Huang},
journal= {arXiv preprint arXiv:2406.02603},
year = {2024}
}