CultranAI at PalmX 2025: 数据增强在阿拉伯文化知识表示中的应用
计算与语言
2025-10-02 v2 人工智能
摘要
本文报告了我们参与 PalmX 文化评估共享任务的情况。我们的系统 CultranAI 专注于大语言模型(LLM)在阿拉伯文化知识表示方面的数据增强和 LoRA 微调。我们对多种 LLM 进行基准测试，以确定该任务中表现最佳的模型。除了利用 PalmX 数据集外，我们还通过纳入 Palm 数据集对其进行数据增强，并构建了一个包含超过 22K 个文化相关多选题 (MCQs) 的新数据集。我们的实验表明，Fanar-1-9B-Instruct 模型取得了最佳性能。我们在包含 22K+ 个 MCQs 的增强数据集上对该模型进行微调。在盲测试集上，我们提交的系统准确率为 70.50%，排名第 5；在 PalmX 开发集上，准确率达到了 84.1%。
引用
@article{arxiv.2508.17324,
title = {CultranAI at PalmX 2025: Data Augmentation for Cultural Knowledge Representation},
author = {Hunzalah Hassan Bhatti and Youssef Ahmed and Md Arid Hasan and Firoj Alam},
journal= {arXiv preprint arXiv:2508.17324},
year = {2025}
}
备注
LLMs, Native, Arabic LLMs, Augmentation, Multilingual, Language Diversity, Contextual Understanding, Minority Languages, Culturally Informed, Foundation Models, Large Language Models