Cendol：面向印度尼西亚语的开源指令微调生成式大语言模型
计算与语言
2024-07-09 v2
摘要
大语言模型（LLM）在多个领域和语言中展现出显著的人类能力。然而，在低资源语言（例如印度尼西亚本土语言）中存在显著的质量差距，使得它们在此类语言环境中效果不佳且效率低下。为弥合这一质量差距，我们推出了Cendol，这是一个涵盖多种模型规模的仅解码器和编码器-解码器架构的印度尼西亚语LLM集合。我们强调了Cendol在多种任务上的有效性，取得了20%的提升，并展示了其泛化到未见任务和印度尼西亚本土语言的能力。此外，尽管Cendol模型在捕捉印度尼西亚本土知识和文化价值观方面存在局限，但它们展现出更高的人类偏好度。我们还讨论了参数高效微调（如LoRA）在语言适应中的缺点。作为替代，我们提出使用词汇适应来提高效率。最后，我们评估了Cendol的安全性，并展示了在一种语言（如英语）中预训练的安全性可以迁移到低资源语言（如印度尼西亚语），即使没有RLHF和安全微调。
引用
@article{arxiv.2404.06138,
title = {Cendol: Open Instruction-tuned Generative Large Language Models for Indonesian Languages},
author = {Samuel Cahyawijaya and Holy Lovenia and Fajri Koto and Rifki Afina Putri and Emmanuel Dave and Jhonson Lee and Nuur Shadieq and Wawan Cenggoro and Salsabil Maulana Akbar and Muhammad Ihza Mahendra and Dea Annisayanti Putri and Bryan Wilie and Genta Indra Winata and Alham Fikri Aji and Ayu Purwarianti and Pascale Fung},
journal= {arXiv preprint arXiv:2404.06138},
year = {2024}
}
备注
Cendol models are released under Apache 2.0 license and will be made publicly available soon