CoCoST：结合在线搜索与正确性测试的自动复杂代码生成
软件工程
2024-10-15 v3 计算与语言
机器学习
摘要
大型语言模型通过将自然语言描述转换为可执行代码，彻底改变了代码生成能力。然而，由于复杂的结构、微妙的错误、对高级数据类型的理解以及缺乏补充内容，在现实场景中生成复杂代码仍然具有挑战性。为了应对这些挑战，我们引入了 CoCoST 框架，该框架通过有计划地在线搜索更多信息进行查询，并通过正确性测试进行代码优化，从而增强复杂代码生成。此外，CoCoST 将复杂的输入和输出序列化以提高理解能力，并生成测试用例以确保对现实世界应用的适应性。CoCoST 通过在 DS-1000 和 ClassEval 数据集上的严格实验得到验证。实验结果表明，CoCoST 显著提高了复杂代码生成的质量，突显了其在增强 LLM 生成复杂代码实用性方面的潜力。
引用
@article{arxiv.2403.13583,
title = {CoCoST: Automatic Complex Code Generation with Online Searching and Correctness Testing},
author = {Xinyi He and Jiaru Zou and Yun Lin and Mengyu Zhou and Shi Han and Zejian Yuan and Dongmei Zhang},
journal= {arXiv preprint arXiv:2403.13583},
year = {2024}
}
备注
Accepted by EMNLP 2024 main conference, long paper