IndicEval-XL：跨印度语言代码生成中的语言多样性桥接
软件工程
2025-02-27 v1 计算与语言
摘要
大型语言模型（LLM）在从自然语言提示生成代码方面展现出惊人的能力，正在 revolutionizing 软件开发工作流程。随着向基于智能体的开发范式的推进，这些模型构成了下一代软件开发生命周期的基石。然而，当前用于评估多语言代码生成能力的基准主要以英语为中心，限制了其在全球开发者社区中的适用性。为解决这一限制，我们提出IndicEval-XL，一个包含6种主要印度语言的全面代码生成基准，这些语言总共被约全球人口的14%所使用。我们的基准将这些语言与12种编程语言相连接，构建了一个稳健的评估框架。鉴于印度代表全球人口的1/8，且印度语言在印度社会中发挥关键作用，IndicEval-XL represents 前进语言多样性在代码生成系统和评估框架中的重要一步。通过开发支持多种语言的资源，我们旨在让AI驱动的开发工具更具包容性和可访问性，以服务于不同语言背景的开发者。为进一步推进此方向的研究与开发，我们将数据集和评估基准公开于https://github.com/telekom/IndicEval-XL
引用
@article{arxiv.2502.19067,
title = {IndicEval-XL: Bridging Linguistic Diversity in Code Generation Across Indic Languages},
author = {Ujjwal Singh and Aditi Sharma and Nikhil Gupta and Deepakshi and Vivek Kumar Jha},
journal= {arXiv preprint arXiv:2502.19067},
year = {2025}
}