Cerbero-7B：通过增强聊天语料生成与评估实现语言专用大语言模型的重要进展
计算与语言
2023-11-28 v1 人工智能
摘要
本研究提出了一种利用自聊天机制生成高质量、语言专用聊天语料的新方法。我们结合一个用于创建新样本的生成器 LLM 和一个用于确保多样性的嵌入器 LLM。提出了一种基于掩码语言建模（MLM）模型的新质量评估指标，用于评估和过滤语料。利用 llama2-70b 作为生成器、一个多语言句子 transformer 作为嵌入器，我们生成了一个意大利语聊天语料，并改进了基于翻译的英文 ChatGPT 自聊天数据的 Fauno 语料。该改进使用了结构化断言和自然语言处理技术。两个语料均使用所提出的基于 MLM 模型的质量指标进行了全面质量评估。使用这些语料微调后的意大利语 LLM 展现出显著增强的语言理解和问答能力。由此得到的模型 cerbero-7b 确立了意大利语 LLM 的新 SOTA。该方法标志着语言专用 LLM 开发的重要进展，特别侧重于增强像意大利语这类低资源语言的语料。
引用
@article{arxiv.2311.15698,
title = {Cerbero-7B: A Leap Forward in Language-Specific LLMs Through Enhanced Chat Corpus Generation and Evaluation},
author = {Federico A. Galatolo and Mario G. C. A. Cimino},
journal= {arXiv preprint arXiv:2311.15698},
year = {2023}
}