通过对抗扰动阻止LLM辅助在入门编程作业中的作弊
计算与语言
2024-10-16 v2 计算机与社会
软件工程
摘要
虽然大型语言模型（LLM）如CoPilot和ChatGPT等编程助手可以提高专业软件开发人员的生产力，但也可能促进计算机编程课程中入门课程的作弊。假设教师对工业级模型控制有限，本文调查了5个广泛使用的LLM在入门编程问题集合上的基线性能，检查对抗扰动以降低其性能，并描述了旨在了解此类扰动在阻止实际代码生成方面效果的用户研究。用户研究表明，i）扰动组合使平均正确性得分下降77%，ii）扰动导致的正确性下降受其可检测性的影响。
引用
@article{arxiv.2410.09318,
title = {Impeding LLM-assisted Cheating in Introductory Programming Assignments via Adversarial Perturbation},
author = {Saiful Islam Salim and Rubin Yuchan Yang and Alexander Cooper and Suryashree Ray and Saumya Debray and Sazzadur Rahaman},
journal= {arXiv preprint arXiv:2410.09318},
year = {2024}
}