Nyonic 技术报告
计算与语言
2024-04-25 v1
摘要
本报告详细阐述了我们最新语言模型的开发及关键成果。该模型为定制大型语言模型而设计，引入了创新性的在线数据调度器（Online Data Scheduler），支持灵活的训练数据调整和课程学习。模型架构通过引入_rotary 位置编码（Rotary Positional Embeddings）、_QK-LayerNorm 以及专为多语言任务精心构建的分词器，显著提升了稳定性与性能。此外，我们的训练框架集成了先进的监控机制与快速恢复功能，以确保最优效率。我们的 Wonton 7B 模型在多语言及英文基准测试中表现具竞争力。未来发展将聚焦缩小与更广泛训练模型之间的性能差距，以提升模型在实际场景中的效能与适应性。GitHub: \url{https://github.com/nyonicai/nyonic-public}
引用
@article{arxiv.2404.15702,
title = {Nyonic Technical Report},
author = {Junfeng Tian and Rui Wang and Cong Li and Yudong Zhou and Jun Liu and Jun Wang},
journal= {arXiv preprint arXiv:2404.15702},
year = {2024}
}