PersianLLaMA：构建首个波斯语大型语言模型
计算与语言
2023-12-27 v1 人工智能
摘要
尽管波斯语在全球有数百万人广泛使用，但针对该语言的自然语言处理工作有限。使用大型语言模型作为各种自然语言处理任务的有效工具通常需要大量的文本数据和强大的硬件资源。因此，波斯语文本数据的稀缺和强大硬件资源的不可用阻碍了波斯语大型语言模型的发展。本文介绍了第一个大型波斯语语言模型，名为PersianLLaMA，该模型在波斯语文本和数据集集合上训练。这个基础模型有两个版本，分别有70亿和130亿参数，使用两种不同方法在正式和口语波斯语文本上训练。PersianLLaMA基于最新的评估方法（即使用更大的语言模型）对自然语言生成任务进行了评估，并基于自动机器指标对自然语言理解任务进行了评估。结果表明，PersianLLaMA在理解和生成波斯语文本方面显著优于其竞争对手。PersianLLaMA标志着波斯语自然语言处理发展的重要一步，并且可以成为波斯语社区的宝贵资源。该大型语言模型可用于各种自然语言处理任务，特别是文本生成，如聊天机器人、问答、机器翻译和文本摘要。
引用
@article{arxiv.2312.15713,
title = {PersianLLaMA: Towards Building First Persian Large Language Model},
author = {Mohammad Amin Abbasi and Arash Ghafouri and Mahdi Firouzmandi and Hassan Naderi and Behrouz Minaei Bidgoli},
journal= {arXiv preprint arXiv:2312.15713},
year = {2023}
}