AI 文本检测器对略微润色阿拉伯语文本的误分类现象
计算与语言
2025-12-03 v2 人工智能
摘要
已开发出许多 AI 检测模型来对抗人工智能创建的文章。然而，如果一篇人类撰写的文章被轻微润色，AI 检测模型的决策边界将发生变化，导致其将其误认为是 AI 生成的文章。这种误分类可能导致误指控作者使用 AI 进行学术不端，并损害 AI 检测器的可信度。尽管在英语中已有针对这一挑战的努力，但在阿拉伯语方面尚未有所作为。本文生成了两个数据集。第一个数据集包含800篇阿拉伯语文章，其中一半为 AI 生成，一半为人类撰写。我们使用它评估了14个大型语言模型（LLM）和商业 AI 检测器，其在区分人类撰写与 AI 生成文章方面的能力。我们选取表现最好的8个模型作为我们的主要关注对象，重点考察它们是否会将略微润色的人类文本误认为是 AI 生成的。第二个数据集 Ar-APT包含400篇人类撰写的阿拉伯语文章，由10个 LLM 使用4种润色设置润色，总计16400个样本。我们使用它来评估这8个入选模型，确定轻微润色是否会影响其性能。结果显示，所有 AI 检测器均错误地将大量文章归因于 AI。表现最好的 LLM，Claude-4 Sonnet，准确率为83.51%，但经LLaMA-3润色后降至57.63%。而表现最好的商业模型，originality.AI，准确率达92%，但经Mistral或Gemma-3润色后降至12%。
引用
@article{arxiv.2511.16690,
title = {AI Text Detectors and the Misclassification of Slightly Polished Arabic Text},
author = {Saleh Almohaimeed and Saad Almohaimeed and Mousa Jari and Khaled A. Alobaid and Fahad Alotaibi},
journal= {arXiv preprint arXiv:2511.16690},
year = {2025}
}
备注
(Submitted) Journal of Big Data