提示对AI生成文本零样本检测的影响
人工智能
2024-04-01 v1
摘要
近年来，大型语言模型（LLMs）取得了显著进展。虽然其实际应用现已广泛，但其被滥用的可能性，如生成假新闻和抄袭，引发了重大担忧。为解决此问题，已开发出检测器来评估给定文本是人类生成还是AI生成。其中，零样本检测器作为有效方法脱颖而出，它们不需要额外训练数据，且通常基于似然。在基于聊天的应用中，用户通常输入提示并利用AI生成的文本。然而，零样本检测器通常孤立地分析这些文本，忽略了原始提示的影响。可以想象，这种方法可能导致文本生成阶段和检测阶段之间似然评估的差异。迄今为止，关于提示的存在与否如何影响零样本检测器的检测准确性，仍存在未经验证的空白。在本文中，我们引入了一个评估框架，以实证分析提示对AI生成文本检测准确性的影响。我们使用白盒检测（利用提示）和黑盒检测（无提示信息）评估了各种零样本检测器。我们的实验揭示了提示对检测准确性的显著影响。值得注意的是，与无提示的黑盒检测相比，使用提示的白盒方法在所有测试的零样本检测器上AUC至少提高了0.1。代码可在https://github.com/kaito25atugich/Detector获取。
引用
@article{arxiv.2403.20127,
title = {The Impact of Prompts on Zero-Shot Detection of AI-Generated Text},
author = {Kaito Taguchi and Yujie Gu and Kouichi Sakurai},
journal= {arXiv preprint arXiv:2403.20127},
year = {2024}
}