介绍 DictaLM —— 面向现代希伯来语的大型生成式语言模型
计算与语言
2023-09-27 v1
摘要
我们提出 DictaLM，一个为现代希伯来语定制的大规模语言模型。该模型拥有 70 亿（7B）参数，主要在以希伯来语为中心的数据上训练。作为促进希伯来语研究与开发的承诺，我们在知识共享许可下发布基础模型与指令微调模型。同时，我们引入 DictaLM-Rab，另一个面向拉比/历史希伯来语的基础模型。这些基础模型可作为微调各类希伯来语特定任务（如指令遵循、问答、情感分析等）的理想起点。本次发布代表初步步骤，为希伯来语 NLP 社区提供一个初始希伯来语 LLM 模型以供实验。
引用
@article{arxiv.2309.14568,
title = {Introducing DictaLM -- A Large Generative Language Model for Modern Hebrew},
author = {Shaltiel Shmidman and Avi Shmidman and Amir David Nissan Cohen and Moshe Koppel},
journal= {arXiv preprint arXiv:2309.14568},
year = {2023}
}