从直觉到校准判断：基于评分表的韩语 LLM 生成文本人类检测专家小组研究
计算与语言
2026-03-18 v3 人工智能
摘要
区分人类撰写的韩语文本与流畅的 LLM 输出在训练有素的读者眼中仍难分辨，他们可能会过度信任表面结构的完善。本文提出 LREAD，一种韩语特化的基于评分表的专家校准框架，用于人类归因 LLM 生成文本。我们开展了三阶段盲向纵向研究，涉及三名语言训练的标注员。阶段 1 测量直觉归因，阶段 2 引入基于标准的评分并提供明确依据，阶段 3 在受限的基础人物子集上进行评估。多数投票准确率从阶段 1 的 0.60 提升至阶段 2 的 0.90，阶段 3 子集上达到 10/10（95% 置信区间 [0.692, 1.000]）；一致性也从 Fleiss' = -0.09 提升至 0.82。错误分析表明，校准主要减少 AI 作文的误报负面，而非引发普遍的过度检测。我们将 LREAD 定位为韩语论证性作文环境中小组内校准的试验性证据。这些发现表明，基于评分表的类人判断可补充自动检测器，使归因推理变得明确、可审计且可适应。本研究开发的评分表及用于分析的数据集已公开于 https://github.com/Shinwoo-Park/lread。
引用
@article{arxiv.2601.19913,
title = {From Intuition to Calibrated Judgment: A Rubric-Based Expert-Panel Study of Human Detection of LLM-Generated Korean Text},
author = {Shinwoo Park and Yo-Sub Han},
journal= {arXiv preprint arXiv:2601.19913},
year = {2026}
}