创建抗大语言模型考题：指南与策略
计算与语言
2023-04-25 v1
摘要
大语言模型（LLMs）如ChatGPT的泛滥引发了对其可能影响学术诚信的担忧，催生了抗LLM考题设计的需求。本文考察了LLMs在考试中的表现及其对评估的影响，聚焦于ChatGPT的能力与局限。我们提出了创建抗LLM考题的指南，包括内容审核、蓄意错误、超出模型知识库的实时场景、有效的干扰项选项、软技能评估，以及融入非文本信息。文章还强调了使评估适应现代工具并促进学生关键技能发展的重要性。通过采纳这些策略，教育者可在维护学术诚信的同时，确保评估准确反映当代专业环境，并应对人工智能在教育中带来的挑战与机遇。
引用
@article{arxiv.2304.12203,
title = {Creating Large Language Model Resistant Exams: Guidelines and Strategies},
author = {Simon kaare Larsen},
journal= {arXiv preprint arXiv:2304.12203},
year = {2023}
}