AI 助手能帮助学生编写形式规约吗?基于 ChatGPT 与 B 方法的实证研究
计算机与社会
2025-02-13 v1 人工智能
摘要
本文以 B 方法作为形式规约技术,研究 AI 助手(特别是 OpenAI 的 ChatGPT)在本科生形式方法(FM)教学中的作用。尽管已有研究证明了 AI 在编程任务中的有效性,但尚无研究报道其对形式规约的影响。我们考察了 ChatGPT 在编写 B 规约时是否具有优势,并分析了学生对其输出的信任度。研究结果表明,AI 并未帮助学生提高其规约的正确性,且信任度较低与更好的结果之间存在相关性。此外,我们识别出了一种与 ChatGPT 交互的行为模式,该模式可能会影响 B 规约的正确性。
引用
@article{arxiv.2502.07789,
title = {Do AI assistants help students write formal specifications? A study with ChatGPT and the B-Method},
author = {Alfredo Capozucca and Daniil Yampolskyi and Alexander Goldberg and Maximiliano Cristiá},
journal= {arXiv preprint arXiv:2502.07789},
year = {2025}
}