通过自一致性使用 LLM 提示实现更优补丁生成
软件工程
2023-08-21 v2 机器学习
摘要
大语言模型（LLM）可通过包含示例性问题—解答的“少样本”提示来解决非平凡问题。若少样本中还包含“思维链”（CoT）解释（形式为问题—解释—解答），LLM 将生成“带解释”的解答，并表现更佳。近来，一种令人振奋且性能显著更优的技术——自一致性 [1]（S-C）已出现，其基于如下直觉：对于正确解答存在许多合理的解释；当对给定问题重复采样 LLM 以生成解释—解答对池时，池中出现频率最高的解答（忽略解释）往往更可能是正确的！遗憾的是，这种高性能的 S-C（甚至 CoT）方法在软件工程场景中的使用受限于解释的缺失；大多数软件数据集缺乏解释。本文中，我们描述了一种将 S-C 方法应用于程序修复的方案，仅在示例少样本中使用修复的提交日志作为解释。我们在 MODIT 数据集上取得了最优结果，击败了先前基于提示的程序修复方法；我们还发现证据表明正确的提交信息正帮助 LLM 学习生成更优补丁。
引用
@article{arxiv.2306.00108,
title = {Better patching using LLM prompting, via Self-Consistency},
author = {Toufique Ahmed and Premkumar Devanbu},
journal= {arXiv preprint arXiv:2306.00108},
year = {2023}
}
备注
Accepted at ASE-NIER (2023) track