谁写的？社交媒体 AI 检测基准评测
计算与语言
2023-10-13 v1
摘要
AI 生成文本已在各类在线平台上大量涌现，既带来了变革性的前景，也引发了与错误信息和操纵相关的重大风险。为应对这些挑战，本文提出了 SAID（Social media AI Detection，社交媒体 AI 检测），这是一个新开发的基准，用于评估 AI 文本检测模型在真实社交媒体平台上的能力。它收录了来自知乎和 Quora 等热门社交媒体的真实 AI 生成文本。与现有基准不同，SAID 处理的内容反映了真实 AI 用户在网络上采用的、可能规避检测或获取可见度的复杂策略，从而提供了更真实且更具挑战性的评估场景。基于知乎数据集，我们研究的一个显著发现表明，标注者能够以 96.5% 的平均准确率区分 AI 生成与人工生成的文本。这一发现促使人们重新评估在当今广泛受 AI 影响的环境中人类识别 AI 生成文本的能力。此外，我们提出了一种面向用户的新 AI 文本检测挑战，侧重于基于用户信息和多条回复来识别 AI 生成文本的实际性与有效性。实验结果表明，相较于传统的模拟 AI 文本检测，在真实社交媒体平台上进行检测任务更具挑战性，导致准确率下降。另一方面，面向用户的 AI 生成文本检测显著提高了检测准确率。
引用
@article{arxiv.2310.08240,
title = {Who Said That? Benchmarking Social Media AI Detection},
author = {Wanyun Cui and Linqiu Zhang and Qianle Wang and Shuyang Cai},
journal= {arXiv preprint arXiv:2310.08240},
year = {2023}
}