Walia-LLM：通过整合特定任务和生成式数据集增强 Amharic-LLaMA
计算与语言
2024-04-30 v5
摘要
大型语言模型 (LLMs) 因其在理解和生成人类语言方面的卓越表现，在自然语言处理 (NLP) 研究中受到了广泛关注。然而，由于资源的缺乏，低资源语言往往被落在后面。在这项工作中，我们专注于通过整合特定任务和生成式数据集来增强 LLaMA-2-Amharic 模型，以提高阿姆哈拉语的语言模型性能。我们编译了一个阿姆哈拉语指令微调数据集，并对 LLaMA-2-Amharic 模型进行了微调。微调后的模型在不同的 NLP 任务中显示出有希望的结果。我们开源了我们的数据集创建流程、指令数据集、训练好的模型和评估输出，以促进针对这些模型的特定语言研究。
引用
@article{arxiv.2402.08015,
title = {Walia-LLM: Enhancing Amharic-LLaMA by Integrating Task-Specific and Generative Datasets},
author = {Israel Abebe Azime and Atnafu Lambebo Tonja and Tadesse Destaw Belay and Mitiku Yohannes Fuge and Aman Kassahun Wassie and Eyasu Shiferaw Jada and Yonas Chanie and Walelign Tewabe Sewunetie and Seid Muhie Yimam},
journal= {arXiv preprint arXiv:2402.08015},
year = {2024}
}