OmniGIRL：一个面向 GitHub Issue 解决的多语言、多模态基准
软件工程
2025-05-08 v1
摘要
GitHub Issue 解决任务旨在自动解决仓库中报告的 issue。随着大语言模型（LLMs）的进步，该任务受到越来越多的关注，并提出了若干基准来评估 LLM 的 issue 解决能力。然而，现有基准存在三个主要局限。首先，当前基准聚焦于单一编程语言，限制了对来自不同语言仓库的 issue 的评估。其次，它们通常覆盖的领域范围较窄，可能无法代表真实世界 issue 的多样性。第三，现有基准仅依赖 issue 描述中的文本信息，忽略了 issue 中的图像等多模态信息。在本文中，我们提出了 OmniGIRL，一个多语言、多模态、多领域的 GitHub Issue 解决基准。OmniGIRL 包含 959 个任务实例，这些实例收集自涵盖四种编程语言（即 Python、JavaScript、TypeScript 和 Java）及八个不同领域的仓库。我们的评估显示，当前 LLM 在 OmniGIRL 上表现有限。值得注意的是，表现最佳的模型 GPT-4o 仅解决了 8.6% 的 issue。此外，我们发现当前 LLM 难以解决需要理解图像的 issue。最佳性能由 Claude-3.5-Sonnet 取得，它仅解决了 10.5% 的包含图像信息的 issue。最后，我们分析了当前 LLM 在 OmniGIRL 上失败的原因，为未来的改进提供了见解。
引用
@article{arxiv.2505.04606,
title = {OmniGIRL: A Multilingual and Multimodal Benchmark for GitHub Issue Resolution},
author = {Lianghong Guo and Wei Tao and Runhan Jiang and Yanlin Wang and Jiachi Chen and Xilin Liu and Yuchi Ma and Mingzhi Mao and Hongyu Zhang and Zibin Zheng},
journal= {arXiv preprint arXiv:2505.04606},
year = {2025}
}
备注
To appear at ISSTA'25