探索自动化代码评测系统及代码分析资源：一项综合性综述
软件工程
2023-07-19 v1 计算工程、金融与科学
摘要
自动化代码评测系统（AES）主要设计用于可靠地评估用户提交的代码。由于其广泛的应用范围和宝贵资源的积累，AES 正变得越来越流行。关于 AES 的应用及其面向多样编码任务的真实资源探索的研究仍然缺乏。在本研究中，我们对 AES 及其资源进行了综合性综述。该综述探讨了 AES 的应用领域、可用资源以及用于编码任务的资源利用。根据应用，AES 被分为编程竞赛、编程学习与教育、招聘、在线编译器以及附加模块。我们探索了这些系统可用于研究、分析与编码任务的可用数据集及其他资源。此外，我们概述了机器学习驱动的编码任务，如缺陷检测、代码审查、理解、重构、搜索、表示与修复。这些任务使用真实数据集完成。另外，我们简要讨论了 Aizu Online Judge 平台作为一个 AES 的真实示例，从系统设计（硬件与软件）、运行（竞赛与教育）以及研究的角度。这是由于 AOJ 平台的可扩展性（编程教育、竞赛与练习）、开放的内部特性（硬件与软件）、研究界的关注、开源数据（如解答代码与提交文档）以及透明度。我们还分析了该系统的整体性能与多年来所感知的挑战。
引用
@article{arxiv.2307.08705,
title = {Exploring Automated Code Evaluation Systems and Resources for Code Analysis: A Comprehensive Survey},
author = {Md. Mostafizer Rahman and Yutaka Watanobe and Atsushi Shirafuji and Mohamed Hamada},
journal= {arXiv preprint arXiv:2307.08705},
year = {2023}
}