生成式 AI 检测工具、对抗技术及其对高等教育包容性的影响
计算机与社会
2024-09-10 v1 人工智能
摘要
本研究调查了六种主要的生成式 AI（GenAI）文本检测器在面临使用专门设计的技术以规避这些工具检测的机器生成内容时的效能（n=805）。结果表明，检测器原本就较低的准确率（39.5%）在面对被篡改的内容时出现大幅下降（17.4%），其中某些技术在规避检测方面被证明比其他技术更为有效。准确率的局限性和错误指控的可能性表明，目前无法推荐使用这些工具来判断是否发生了学术诚信违规行为，这凸显了教育工作者在维护包容和公平的评估实践方面所面临的挑战。然而，如果以非惩罚性的方式使用，它们可能在支持学生学习和维护学术诚信方面发挥作用。这些结果强调需要采用综合方法来应对 GenAI 在学术界带来的挑战，以促进这些新兴技术的负责任和公平使用。研究得出结论，AI 文本检测器目前的局限性要求在高等教育中的任何可能实施都采取批判性方法，并强调了 AI 评估策略的可能替代方案。
引用
@article{arxiv.2403.19148,
title = {GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education},
author = {Mike Perkins and Jasper Roe and Binh H. Vu and Darius Postma and Don Hickerson and James McGaughran and Huy Q. Khuat},
journal= {arXiv preprint arXiv:2403.19148},
year = {2024}
}