深度伪造文本检测：局限与机遇

近期语言生成模型的进展使得制造令人信服的合成文本或深度伪造文本成为可能。已有工作表明深度伪造文本可能被滥以误导内容消费者。因此，深度伪造文本检测——区分人类与机器生成文本的任务——正变得愈发关键。已有若干防御方案被提出用于深度伪造文本检测。然而，我们对其真实世界适用性缺乏透彻理解。本文中，我们收集来自 4 个由 Transformer 驱动工具的在线服务的深度伪造文本，以评估防御在野生内容上的泛化能力。我们开发了几种低成本对抗攻击，并考察现有防御对自适应攻击者的鲁棒性。我们发现许多防御在我们的评估场景下相较其原声称性能显著退化。我们的评估表明，挖掘文本内容中的语义信息是提高深度伪造文本检测方案鲁棒性与泛化性能的有前景途径。