Komodo：探索印尼地区语言的语言学之旅

大型语言模型 (Large Language Models, LLMs) 的最近突破主要集中在容易获得且资源丰富的语言上，如英语。然而，对于缺乏足够公共领域语言资源的语言，仍存在显著的差距。我们的工作引入了 Komodo-7B，这是一套为填补这一差距而设计的、能够无缝操作印尼语、英语以及印尼 11 种地区语言的 70 亿参数大型语言模型。Komodo-7B 是一个由 Komodo-7B-Base 和 Komodo-7B-Instruct 组成的 LLM 系列。Komodo-7B-Instruct 在各种任务和语言方面实现了最先进的性能，超越了 OpenAI 的 GPT-3.5、Cohere 的 Aya-101、Llama-2-Chat-13B、Mixtral-8x7B-Instruct-v0.1、Gemma-7B-it 等多个模型制定的基准。该模型不仅在语言特定和整体评估中表现出色，还凸显了其在语言多样性方面的卓越能力。我们致力于拓展语言模型的应用，不仅限于资源丰富的语言，更旨在弥合那些缺乏语言资产的语言之间的差距。此外，Komodo-7B-Instruct 更好的跨语言理解能力有助于解决印尼的教育不平等问题，提供从英语到 11 种地区语言的直接翻译，这在现有语言翻译服务中是显著的改进。Komodo-7B 代表了语言模型向包容性和有效性迈出的关键一步，为多样化社区的语言需求提供支持。