JAMDEC：基于小型语言模型约束解码的无监督作者身份混淆
计算与语言
2024-02-15 v1 人工智能
摘要
在线内容的永久性与增强的作者身份识别技术相结合，要求在需要时采用更强的计算方法来保护在线作者的身份和隐私，例如科学论文的盲审、匿名在线评论或心理健康论坛中的匿名互动。在本文中，我们提出了一种无监督的推理时作者身份混淆方法，以应对作者身份混淆的独特挑战：缺乏针对多样化作者身份和领域的监督数据，以及需要超越简单释义的充分修改水平来混淆作者身份，同时保留原始内容和流畅性。我们引入了 JAMDEC，这是一种用户控制的、推理时的作者身份混淆算法，原则上可应用于任何文本和作者身份。我们的方法构建于小型语言模型（如 GPT2-XL）之上，以帮助避免向专有 LLM 的 API 泄露原始内容，同时通过算法增强缩小小型与大型语言模型之间的性能差距。我们方法背后的关键思想是通过约束解码来提升小型语言模型的创造力，同时允许用户指定的控制和灵活性。实验结果表明，我们基于 GPT2-XL 的方法优于先前基于相当规模小模型的最先进方法，同时与 GPT3.5 175B（一个大两个数量级的专有模型）相比具有竞争力。
引用
@article{arxiv.2402.08761,
title = {JAMDEC: Unsupervised Authorship Obfuscation using Constrained Decoding over Small Language Models},
author = {Jillian Fisher and Ximing Lu and Jaehun Jung and Liwei Jiang and Zaid Harchaoui and Yejin Choi},
journal= {arXiv preprint arXiv:2402.08761},
year = {2024}
}
备注
Code is available at https://github.com/jfisher52/JAMDecoding