Gazelle:用于阿拉伯语写作辅助的综合数据集
计算与语言
2024-11-06 v2
摘要
写作长期以来一直被视为人类智能的标志,并且由于涉及复杂的认知过程,它仍然是人工智能(AI)的一项巅峰任务。近年来,生成式AI的快速发展,特别是通过大型语言模型(LLM)的开发,极大地改变了写作辅助的格局。然而,像阿拉伯语这样代表性不足的语言,在开发先进的AI写作工具方面面临着重大挑战,这主要是由于数据的稀缺性。数据的匮乏限制了有效模型的训练,阻碍了先进写作辅助技术的创造。为了解决这些问题,我们提出了Gazelle,一个用于阿拉伯语写作辅助的综合数据集。此外,我们设计了一个评估框架,旨在增强阿拉伯语写作辅助工具。我们对包括GPT-4、GPT-4o、Cohere Command R+和Gemini 1.5 Pro在内的领先LLM进行了人工评估,突出了它们在应对阿拉伯语写作挑战方面的各自优势和不足。我们的研究结果强调了持续进行模型训练和数据集扩充以应对阿拉伯语处理复杂性的必要性,为更强大的AI驱动的阿拉伯语写作辅助工具铺平了道路。
引用
@article{arxiv.2410.18163,
title = {Gazelle: An Instruction Dataset for Arabic Writing Assistance},
author = {Samar M. Magdy and Fakhraddin Alwajih and Sang Yun Kwon and Reem Abdel-Salam and Muhammad Abdul-Mageed},
journal= {arXiv preprint arXiv:2410.18163},
year = {2024}
}
备注
EMNLP2024 Finding Camara-ready version