开放对话式大语言模型不知道大多数西班牙语单词

对大型语言模型（LLM）特别是用户可与之交互的对话模型的兴趣日益增长，导致大量开源聊天LLM的开发。这些模型在广泛的基准上进行评估，以评估它们在回答几乎所有可能主题的问题或解决问题方面的能力，或测试它们推理或解释文本的能力。相反，对这些模型语言知识的评估受到的关注要少得多。例如，它们在不同语言中能够识别和使用的单词。在本文中，我们通过测试参考词典中的单词样本，评估开源聊天LLM对西班牙语单词的知识。结果表明，开源聊天LLM对相当一部分单词产生错误含义，并且无法正确使用大多数单词来写出有上下文的句子。这些结果表明西班牙语在开源LLM竞赛中落后，并强调需要推动对话式LLM的语言公平性，确保它们在各种语言中提供相似的性能。