中文

谁写什么:揭示作者角色对 AI 生成文本检测的影响

计算与语言 2025-12-30 v2

摘要

大型语言模型(LLM)的兴起使得准确检测 AI 生成文本成为必要。然而,当前方法大多忽视了作者特征的影响。我们研究了社会语言学属性——性别、CEFR 熟练程度、学科领域和语言环境——对最先进 AI 文本检测器的影响。我们运用人类撰写文本的 ICNALE 语料库以及来自多种 LLM 的平行 AI 生成文本,进行严格评估,采用多因素方差分析(ANOVA)和加权最小二乘(WLS)。我们的结果揭示了显著偏差:CEFR 熟练程度和语言环境持续影响检测准确度,而性别和学科领域显示出检测器依赖性影响。这些发现凸显了在避免特定人口统计学群体不公平惩罚方面,社会意识的 AI 文本检测的关键性。我们提供了新的实证证据、稳健的统计框架和可操作的见解,以致力于开发更公平可靠的检测系统以适应实际的、跨域的情境。本工作为未来在偏差缓解、包容性评估基准和社会负责感的 LLM 检测器研究之路。

关键词

引用

@article{arxiv.2502.12611,
  title  = {Who Writes What: Unveiling the Impact of Author Roles on AI-generated Text Detection},
  author = {Jiatao Li and Xiaojun Wan},
  journal= {arXiv preprint arXiv:2502.12611},
  year   = {2025}
}

备注

ACL 2025 Main Conference