反图灵测试 CT^2：AI 生成文本检测并非如你所想般容易——引入 AI 可检测性指数
计算与语言
2023-10-25 v2 人工智能
摘要
随着多产 ChatGPT 的兴起，AI 生成文本的风险与后果已 alarming 地增加。为应对 AI 生成产物所有权归属这一不可避免的问题，美国版权局发布声明称“若作品的传统作者要素由机器产生，则该作品缺乏人类作者身份，本局将不予登记”。此外，美欧政府近期均起草了关于 AI 监管框架的初步提案。鉴于生成式 AI 的这一焦点关注，AI 生成文本检测（AGTD）已成为一个在研究界即刻受到关注的话题，已有若干初步方法被提出，随后很快出现了规避检测的技术。本文引入反图灵测试（CT^2），一个由多种技术组成的基准，旨在对现有 AGTD 技术的鲁棒性进行全面评估。我们的实证发现明确凸显了受审视的拟议 AGTD 方法的脆弱性。在关于 AI 发展监管政策制定的广泛审议中，评估 LLM 生成内容的可检测性至关重要。因此，为建立一种可量化的谱系以依据可检测性水平对 LLM 进行评估与排序，我们提出 AI 可检测性指数（ADI）。我们对 15 个当代 LLM 进行了详尽考察，实证表明较大的 LLM 往往具有更高的 ADI，意味着它们比较小的 LLM 更不易被检测。我们坚信 ADI 作为广大 NLP 社群的工具具有重要价值，并有望作为 AI 相关政策制定的评判标准。
引用
@article{arxiv.2310.05030,
title = {Counter Turing Test CT^2: AI-Generated Text Detection is Not as Easy as You May Think -- Introducing AI Detectability Index},
author = {Megha Chakraborty and S. M Towhidul Islam Tonmoy and S M Mehedi Zaman and Krish Sharma and Niyar R Barman and Chandan Gupta and Shreya Gautam and Tanay Kumar and Vinija Jain and Aman Chadha and Amit P. Sheth and Amitava Das},
journal= {arXiv preprint arXiv:2310.05030},
year = {2023}
}
备注
EMNLP 2023 Main