人类-人工智能协作还是学术不端?基于风格计量学证据测量 AI 在学生写作中的使用情况
计算与语言
2025-09-09 v1 人工智能
计算机与社会
摘要
随着人类-人工智能协作在教育语境中的日益普及,理解和测度此类互动的范围与性质正面临重大挑战。本研究旨在探索作者验证 (AV) 技术的应用——并非将其作为惩罚性手段,而是作为量化学术写作中 AI 辅助程度的手段,旨在促进透明度、可解释性和学生发展。基于前期工作,我们将研究结构分为三个阶段:数据集选择与扩充、AV 方法开发与系统化评估。我们使用三个数据集——包括公开数据集 (PAN-14) 以及来自 University of Melbourne 学生的两个数据集(涵盖不同课程)——将数据扩展至 1,889 份文档和 540 项作者问题,涉及 506 名学生。我们开发了适配的特征向量差异 AV 方法,用于构建学生的稳健学术写作轮廓,旨在捕捉其写作中具有意义且具有个人特征的特征。该方法的效果在多个情景下均得到评估,包括区分学生撰写与 AI 生成文本,以及测试其对 AI 试图模仿学生写作风格的抗性。结果表明,提升后的 AV 分类器能够识别风格计量差异,在词和句子层面衡量人类- AI 协作,同时为教育者提供透明的工具以支持学术诚信调查。本工作推进了 AV 技术,为 AI 时代学术写作的动态提供了可操作性见解。
引用
@article{arxiv.2505.08828,
title = {Human-AI Collaboration or Academic Misconduct? Measuring AI Use in Student Writing Through Stylometric Evidence},
author = {Eduardo Araujo Oliveira and Madhavi Mohoni and Sonsoles López-Pernas and Mohammed Saqr},
journal= {arXiv preprint arXiv:2505.08828},
year = {2025}
}
备注
19 pages, 10 figures, 11 tables