低资源语言的最新大型语言模型性能评估
计算与语言
2024-08-01 v1
摘要
大型语言模型（LLM）在过去一年中取得了显著进展。除了新的GPT和Llama版本外，还近期涌现出许多其他LLM。其中一些是可下载和修改的开放模型。虽然多语言大型语言模型已有一段时间可供使用，但它们在诸如 Sinhala 等低资源语言上的性能仍较差。我们在 Sinhala 语言中直接评估了四个最新的LLM，并通过英语到该语言及其反之的翻译进行评估。我们还评估了在少量微调数据下的微调能力。Claude 和 GPT-4o 在开箱即用的情况下表现良好，显著优于以前的版本。Llama 和 Mistral 表现较差，但在微调方面显示出一些改进的前景。
引用
@article{arxiv.2407.21330,
title = {Performance of Recent Large Language Models for a Low-Resourced Language},
author = {Ravindu Jayakody and Gihan Dias},
journal= {arXiv preprint arXiv:2407.21330},
year = {2024}
}