PersianRAG：波斯语检索增强生成系统
计算与语言
2024-11-07 v2 人工智能
信息检索
摘要
检索增强生成（RAG）模型将大规模预训练生成模型与外部检索机制集成，已在各种自然语言处理（NLP）任务中显示出显著的成功。然而，在波斯语作为一种低资源语言中应用RAG模型存在独特挑战。这些挑战主要涉及系统的预处理、嵌入、检索、提示构建、语言建模和响应评估。在本文中，我们致力于实现称为PersianRAG的真实世界RAG系统。我们提出了新颖的解决方案来克服这些障碍并使用多个波斯语基准数据集对我们的方案进行评估。我们的实验结果显示，PersianRAG框架能够增强波斯语中的问答任务。
引用
@article{arxiv.2411.02832,
title = {PersianRAG: A Retrieval-Augmented Generation System for Persian Language},
author = {Hossein Hosseini and Mohammad Sobhan Zare and Amir Hossein Mohammadi and Arefeh Kazemi and Zahra Zojaji and Mohammad Ali Nematbakhsh},
journal= {arXiv preprint arXiv:2411.02832},
year = {2024}
}