Coffee：通过反馈修复缺陷以提升你的代码大语言模型
计算与语言
2024-02-26 v3 软件工程
摘要
代码编辑是实现可靠程序合成以自动纠正代码 LLM（大语言模型）所生成关键错误的重要步骤。近期研究表明，闭源 LLM（即 ChatGPT 与 GPT-4）能够生成纠正性反馈以编辑错误输入。然而，开源代码 LLM 生成用于代码编辑的反馈仍具挑战，因为这些模型往往拘泥于反馈的表层格式并提供含误导信息的反馈。因此，本工作的重点是利用开源代码 LLM 生成带有正确指引、有助于代码编辑的反馈。为此，我们提出 Coffee，一个专为带反馈的代码修复而收集的数据集。利用该数据集，我们构建了 CoffeePots，一个通过偏好优化微调与选择实现带反馈代码修复（COde Fixing with FEEdback via Preference-Optimized Tuning and Selection）的框架。该框架旨在自动生成有助于代码编辑的反馈，同时将表层反馈的潜在风险降至最低。Coffee 与 CoffeePots 的结合标志着显著进展，在 HumanEvalFix 基准上取得了最先进（SOTA）性能。代码与模型检查点已公开于 https://github.com/Lune-Blue/COFFEE。
引用
@article{arxiv.2311.07215,
title = {Coffee: Boost Your Code LLMs by Fixing Bugs with Feedback},
author = {Seungjun Moon and Hyungjoo Chae and Yongho Song and Taeyoon Kwon and Dongjin Kang and Kai Tzu-iunn Ong and Seung-won Hwang and Jinyoung Yeo},
journal= {arXiv preprint arXiv:2311.07215},
year = {2024}
}
备注
Work in progress