阿拉伯语Mini-ClimateGPT：面向气候变化与可持续性的定制化阿拉伯语大语言模型
计算与语言
2023-12-18 v1 人工智能
摘要
气候变化是我们作为社会共同面临的最重大挑战之一。提高政策制定者对气候变化广泛影响的认识和教育，是迈向可持续未来的关键一步。近年来，像ChatGPT和Bard这样的大语言模型（LLMs）展现了令人印象深刻的对话能力，并在各种自然语言处理任务中表现出色。虽然这些模型是闭源的，但最近诸如Stanford Alpaca和Vicuna等替代性开源LLMs也显示出有希望的结果。然而，这些开源模型并非专门针对气候相关领域信息定制，并且在阿拉伯语等其他语言中生成有意义的回答时也面临困难。为此，我们提出了一个轻量级的阿拉伯语Mini-ClimateGPT，它基于开源LLM构建，并在一个对话式指令微调定制的阿拉伯语数据集Clima500-Instruct上进行了专门微调，该数据集包含超过50万条关于气候变化和可持续性的指令。此外，我们的模型在推理过程中还利用了基于向量嵌入的检索机制。我们通过定量和定性评估在气候相关查询上验证了所提出的模型。在基于ChatGPT的评估中，我们的模型在88.3%的情况下超越了基线LLM。此外，我们的人类专家评估显示，与多个流行的开源模型相比，81.6%的偏好选择我们的模型回答。我们的开源演示、代码库和模型可在https://github.com/mbzuai-oryx/ClimateGPT获取。
引用
@article{arxiv.2312.09366,
title = {Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored Arabic LLM},
author = {Sahal Shaji Mullappilly and Abdelrahman Shaker and Omkar Thawakar and Hisham Cholakkal and Rao Muhammad Anwer and Salman Khan and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:2312.09366},
year = {2023}
}
备注
Accepted to EMNLP 2023 (Findings)