Eka-Eval：面向低资源多语言大语言模型的评估框架
计算与语言
2026-03-06 v5
摘要
大语言模型的快速演进凸显了需要全球通用、灵活且模块化的评估框架的需求，这类框架应支持广泛的任务、模型类型和语言环境。我们引入EKA-EVAL，一个统一的端到端框架，将零代码Web界面与交互式CLI相结合，以确保广泛可访问性。它集成了55+多语言基准测试，覆盖九个评估类别，支持本地和专有模型，并通过模块化的即插即用架构提供11项核心功能。 designed for scalable, multilingual evaluation with support for low-resource multilingual languages, EKA-EVAL is, to the best of our knowledge, the first suite to offer comprehensive coverage in a single platform. 与五个现有基线进行比较显示，在关键可用性措施上至少提升了2倍，用户满意度最高，设置时间更快，且基准复现性更一致。该框架是开源的，公开available at https://github.com/lingo-iitgn/eka-eval。
引用
@article{arxiv.2507.01853,
title = {Eka-Eval: An Evaluation Framework for Low-Resource Multilingual Large Language Models},
author = {Samridhi Raj Sinha and Rajvee Sheth and Abhishek Upperwal and Mayank Singh},
journal= {arXiv preprint arXiv:2507.01853},
year = {2026}
}