基于上下文感知词汇替换的文本溯源追踪

由人类或语言模型生成的文本内容常被对手窃取或滥用。追踪文本溯源有助于主张文本内容的归属权，或识别传播机器生成虚假新闻等误导性内容的恶意用户。已有一些尝试主要基于水印技术实现此目标。具体而言，传统文本水印方法通过轻微改变行距和字体等文本格式来嵌入水印，但这在OCR等跨媒体传输中十分脆弱。考虑到这一点，自然语言水印方法通过用人工构建的词汇资源（如WordNet）中的同义词替换原句单词来表示水印，但它们未考虑替换对整句含义的影响。最近，有研究提出基于Transformer的网络，通过修改不显眼单词（如功能词）来嵌入水印，但这同样损害了句子的逻辑与语义连贯性。此外，一个训练良好的网络在其他不同类型文本内容上会失效。为解决上述局限，我们提出一种基于上下文感知词汇替换（LS）的自然语言水印方案。具体而言，我们利用BERT通过推断候选词与原句之间的语义相关性来提供LS候选词。在此基础上，进一步设计基于同步性与可替换性的选择策略，以检验某个词是否确切适合携带水印信号。大量实验表明，在客观与主观指标下，我们的水印方案能很好地保持原句的语义完整性，并比现有方法具有更好的可迁移性。此外，所提出的LS方法在Stanford Word Substitution Benchmark上优于最先进的方法。