InfiBench：评估代码大语言模型的问答能力
软件工程
2024-11-15 v3 机器学习
摘要
代码大语言模型（code LLMs）近年来取得了巨大进展。随着 code LLMs 的快速发展，出现了许多流行的评估基准（如 HumanEval、DS-1000 和 MBPP），以衡量 code LLMs 的性能，且特别侧重于代码生成任务。然而，它们不足以涵盖 code LLMs 预期的全部能力，这些能力超越了代码生成，延伸至回答各种与编码相关的问题。为了填补这一空白，我们提出了 InfiBench，据我们所知，这是首个面向代码的大规模自由形式问答（QA）基准，包含 234 个精心挑选的高质量 Stack Overflow 问题，涵盖 15 种编程语言。InfiBench 使用四种类型的无模型自动指标来评估回答的正确性，领域专家为每个问题仔细具体化了评判标准。我们在 InfiBench 上对 100 多个最新的 code LLMs 进行了系统评估，得出了一系列新颖且有见地的发现。我们的详细分析展示了 code LLMs 进一步发展的潜在方向。InfiBench 已在 https://infi-coder.github.io/infibench 完全开源，并将持续扩展，以促进 code LLM 评估更加科学和系统的实践。
引用
@article{arxiv.2404.07940,
title = {InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models},
author = {Linyi Li and Shijie Geng and Zhenwen Li and Yibo He and Hao Yu and Ziyue Hua and Guanghan Ning and Siwei Wang and Tao Xie and Hongxia Yang},
journal= {arXiv preprint arXiv:2404.07940},
year = {2024}
}
备注
31 pages. Appear at NeurIPS 2024 Datasets and Benchmarks track. Project website: https://infi-coder.github.io/infibench