文体计量学用于检测机器生成假新闻的局限性

神经语言模型（LM）近来的发展引发了人们对其可能被滥用于自动传播错误信息的担忧。鉴于这些担忧，若干研究提出通过捕捉机器生成文本与人类书写文本之间的文体差异来检测机器生成的假新闻。这些广义上称为文体计量学的方法，在来源归属和人类书写文本的错误信息检测中取得了成功。然而，本文中我们表明，文体计量学在面对机器生成的错误信息时存在局限。人类在试图欺骗时说话方式不同，而语言模型无论潜在动机如何都会生成文体一致的文本。因此，尽管文体计量学可通过识别文本出处来成功防止冒充，却无法区分合法的 LM 应用与那些引入虚假信息的应用。我们创建了两个基准，展示了在自动补全和编辑辅助设置下 LM 的恶意使用与合法使用之间的文体相似性。我们的发现凸显了在检测机器生成错误信息时需要非文体计量学的方法，并开启了关于理想评测基准的讨论。