CodeInsight：来自 Stack Overflow 的实用编码解决方案精选数据集

我们引入了一个专为代码生成定制的新数据集，旨在帮助开发者完成常见任务。我们的数据集提供的示例包含明确的意图、相关的代码片段以及平均三个相关的单元测试。它涵盖了 \texttt{Pandas}、\texttt{Numpy} 和 \texttt{Regex} 等一系列库，以及源自 Stack Overflow 的 Python 代码中超过 70 个标准库。我们的数据集由 Python 专家精心制作了 3,409 个示例，专为模型微调与独立评估而设计。为完成单元测试评估，我们对示例进行分类以进行更细粒度的分析，从而增强对模型在特定编码任务中优缺点的理解。这些示例经过优化以减少数据污染，这一过程已通过三个领先模型的性能得到证实：Mistral 7B、CodeLLaMa 13B 和 Starcoder 15B。我们进一步通过测试 GPT-4 在我们数据集一部分上的性能来调查数据污染。该基准测试可从 \url{https://github.com/NathanaelBeau/CodeInsight} 获取。