CSEPrompts：入门级计算机科学提示词基准
计算与语言
2024-04-05 v2
摘要
人工智能、机器学习和自然语言处理的最新进展导致了一代由大规模数据训练、参数数十亿甚至上万亿的大型语言模型（LLM）的发展。商业应用（如ChatGPT）使该技术向大众开放，因而可用于生成学术和专业领域的高质量文本。学校和大学注意到学生使用AI生成内容的增多，正在研究这种新技术的影响及其潜在滥用。计算机科学（CS）及相关领域的教育项目尤为受影响，因为LLM也能生成各种编程语言的代码。为帮助理解公开的LLM在CS教育中的潜在影响，我们引入CSEPrompts——一个来自入门级计算机科学和编程课程的框架，包含数百个编程练习提示和多选题。我们还提供了针对CSEPrompts的实验结果，评估了Several LLMs在生成Python代码和回答基本计算机科学和编程问题方面的性能。
引用
@article{arxiv.2404.02540,
title = {CSEPrompts: A Benchmark of Introductory Computer Science Prompts},
author = {Nishat Raihan and Dhiman Goswami and Sadiya Sayara Chowdhury Puspo and Christian Newman and Tharindu Ranasinghe and Marcos Zampieri},
journal= {arXiv preprint arXiv:2404.02540},
year = {2024}
}