隐藏代笔人：AI 生成学生作文检测的对抗性评估
计算与语言
2024-02-02 v1 人工智能
摘要
大型语言模型（LLM）在文本生成任务中展现出了卓越的能力。然而，使用这些模型带有固有风险，包括但不限于剽窃、虚假新闻的传播以及教育练习中的问题。尽管已提出几种检测器来解决这些问题，但它们对抗对抗性扰动的有效性，特别是在学生作文写作的背景下，很大程度上仍未被探索。本文旨在通过构建 AIG-ASAP（一个 AI 生成的学生作文数据集）来填补这一空白，采用了一系列文本扰动方法，这些方法预期能生成高质量作文同时规避检测。通过实证实验，我们评估了当前 AIGC 检测器在 AIG-ASAP 数据集上的性能。结果表明，现有的检测器很容易被简单的自动对抗攻击绕过。具体而言，我们探索了词替换和句替换扰动方法，这些方法在保持生成作文质量的同时有效规避了检测。这突显了在教育领域需要更准确、更稳健的方法来检测 AI 生成的学生作文的迫切性。
引用
@article{arxiv.2402.00412,
title = {Hidding the Ghostwriters: An Adversarial Evaluation of AI-Generated Student Essay Detection},
author = {Xinlin Peng and Ying Zhou and Ben He and Le Sun and Yingfei Sun},
journal= {arXiv preprint arXiv:2402.00412},
year = {2024}
}
备注
Accepted by EMNLP 2023 Main conference, Oral Presentation