H2O-Danube-1.8B 技术报告
计算与语言
2024-04-16 v2 机器学习
摘要
我们推出了 H2O-Danube，一个由 1.8B 参数的小型语言模型系列，包括在 1T 令牌上训练的 H2O-Danube-1.8B，以及在额外 2T 令牌上增量改进训练的 H2O-Danube2-1.8B。我们的模型在众多基准测试中展现出极具竞争力的指标，截至撰写本文时，H2O-Danube2-1.8B 在 Open LLM Leaderboard 上所有低于 2B 参数范围的模型中排名第一。这些模型遵循 LLama 2 和 Mistral 的核心原则，我们利用并改进了各种用于预训练大型语言模型的技术。我们还发布了通过监督微调和直接偏好优化训练的聊天模型。我们在 Apache 2.0 许可下公开提供所有模型，进一步以经济的方式将 LLM 普及给更广泛的受众。
引用
@article{arxiv.2401.16818,
title = {H2O-Danube-1.8B Technical Report},
author = {Philipp Singer and Pascal Pfeiffer and Yauhen Babakhin and Maximilian Jeblick and Nischay Dhankhar and Gabor Fodor and Sri Satish Ambati},
journal= {arXiv preprint arXiv:2401.16818},
year = {2024}
}