RoCode：一个用于衡量罗马尼亚语问题定义中代码智能的数据集

近年来，大语言模型（LLMs）变得越来越强大，能够通过自然语言中的适当指令解决多种任务。然而，绝大多数测试套件假设指令是用英语编写的，这是事实上的提示语言。即使对于最先进的 LLMs 而言，代码智能和问题解决仍然是一项艰巨的任务。目前，还没有数据集可以衡量代码生成模型在非英语语言中的泛化能力。在这项工作中，我们提出了 RoCode，这是一个竞争性编程数据集，由 2,642 个用罗马尼亚语编写的问题、1.1 万个 C、C++ 和 Python 解决方案以及每个问题的综合测试套件组成。RoCode 的目的是提供一个基准，用于评估在罗马尼亚语/多语文本上训练的语言模型的代码智能，并作为预训练罗马尼亚语模型的微调集。通过我们的结果和对相关工作的回顾，我们论证了开发非英语语言代码模型的必要性。