OpenTuringBench：基于开放模型的机器生成文本检测与归因基准和框架
计算与语言
2025-04-16 v1 人工智能
计算机与社会
人机交互
物理与社会
摘要
开放大型语言模型（OLLM）越来越多地被用于生成式AI应用，对其输出的检测提出了新的挑战。我们提出了OpenTuringBench，一个基于OLLM的新基准，旨在训练和评估机器生成文本检测器在图灵测试和作者归因问题上的性能。OpenTuringBench聚焦于一组代表性的OLLM，并包含多个具有挑战性的评估任务，包括人类/机器操纵文本、域外文本以及来自未见模型文本。我们还提供了OTBDetector，一个对比学习框架，用于检测和归因基于OLLM的机器生成文本。结果突显了OpenTuringBench任务的相关性和不同难度级别，我们的检测器在各种任务中表现出卓越的能力，并优于大多数现有检测器。资源可在OpenTuringBench Hugging Face仓库获取：https://huggingface.co/datasets/MLNTeam-Unical/OpenTuringBench
引用
@article{arxiv.2504.11369,
title = {OpenTuringBench: An Open-Model-based Benchmark and Framework for Machine-Generated Text Detection and Attribution},
author = {Lucio La Cava and Andrea Tagarelli},
journal= {arXiv preprint arXiv:2504.11369},
year = {2025}
}
备注
Under review with ARR