HowkGPT：通过上下文感知困惑度分析检测 ChatGPT 生成的大学生作业
计算与语言
2025-03-12 v3 人工智能
摘要
随着大语言模型（LLMs）在文本生成任务中的广泛使用，人们对其可能损害学术诚信的担忧日益增加。教育领域当前正致力于区分学生撰写的作业与 AI 生成的作业。本文通过引入 HowkGPT 应对该挑战，其旨在识别 AI 生成的作业。HowkGPT 构建于学术作业及配套元数据的数据集 [17] 之上，并采用预训练 LLM 计算学生撰写与 ChatGPT 生成回复的困惑度（perplexity）分数。这些分数进而辅助建立用于辨别所提交作业来源的阈值。鉴于学术工作的特定性与上下文性质，HowkGPT 通过由元数据导出类别特定阈值进一步精炼其分析，从而提升检测精度。本研究强调了在 LLM 影响日益增长的背景下，采取有效策略维护学术诚信的迫切需求，并为教育机构提供了确保公平准确评分的方法。
引用
@article{arxiv.2305.18226,
title = {HowkGPT: Investigating the Detection of ChatGPT-generated University Student Homework through Context-Aware Perplexity Analysis},
author = {Christoforos Vasilatos and Manaar Alam and Talal Rahwan and Yasir Zaki and Michail Maniatakos},
journal= {arXiv preprint arXiv:2305.18226},
year = {2025}
}