关于测试题面对基于 ChatGPT 作弊的脆弱性研究
计算与语言
2024-02-26 v1 人工智能
计算机与社会
摘要
ChatGPT 是一款聊天机器人，能够相当准确地回答文本提示，甚至在研究生水平的问题上表现优异。许多教育工作者发现，他们的带回家作业或远程测试和考试容易受到基于 ChatGPT 的作弊行为的影响，因为学生可能直接使用 ChatGPT 等工具提供的答案。在本文中，我们试图回答一个重要问题：ChatGPT 回答测试题的效果如何，以及我们如何检测测试中的问题是否能被 ChatGPT 正确回答。我们生成了 ChatGPT 对 MedMCQA 数据集的响应，该数据集包含超过 10,000 道医学院入学考试题目。我们分析了这些响应，揭示了 ChatGPT 回答不准确程度高于其他类型的某些特定类型的问题。此外，我们创建了一个基础的自然语言处理模型，用于在一组问题或样本考试中 singled out 最容易受 ChatGPT 影响的问题。我们的工具可供命题者使用，以避免出现易受 ChatGPT 攻击的测试题。
引用
@article{arxiv.2402.14881,
title = {A Study on the Vulnerability of Test Questions against ChatGPT-based Cheating},
author = {Shanker Ram and Chen Qian},
journal= {arXiv preprint arXiv:2402.14881},
year = {2024}
}
备注
2023 International Conference on Machine Learning and Applications (ICMLA)