SeaLLMs 3：面向东南亚语言的开源基础与聊天多语言大语言模型
计算与语言
2024-07-30 v1
摘要
大型语言模型（LLMs）在各种任务中展现出卓越的能力，然而其发展主要集中在英语和汉语等高资源语言上，导致低资源语言服务不足。为解决这一差距，我们推出了SeaLLMs 3，这是SeaLLMs模型系列的最新迭代，专为东南亚语言量身定制。该地区语言多样性丰富，但一直缺乏足够的语言技术支持。SeaLLMs 3旨在覆盖该地区广泛使用的语言，包括英语、中文、越南语、泰语、老挝语、高棉语、缅甸语、印尼语、马来语、他加禄语和爪哇语。通过利用高效的语言增强技术和专门构建的指令调整数据集，SeaLLMs 3在保持高性能和多功能性的同时显著降低了训练成本。我们的模型在知识、数学推理、翻译和指令遵循等任务上表现出色，在同等规模的模型中达到了最先进的性能。此外，我们优先考虑安全性和可靠性，解决了通用和文化特定问题，并纳入了减少幻觉的机制。这项工作强调了包容性人工智能的重要性，表明先进的LLM能力可以惠及服务不足的语言社区。
关键词
引用
@article{arxiv.2407.19672,
title = {SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages},
author = {Wenxuan Zhang and Hou Pong Chan and Yiran Zhao and Mahani Aljunied and Jianyu Wang and Chaoqun Liu and Yue Deng and Zhiqiang Hu and Weiwen Xu and Yew Ken Chia and Xin Li and Lidong Bing},
journal= {arXiv preprint arXiv:2407.19672},
year = {2024}
}