Hyacinth6B：面向繁体中文的大型语言模型
计算与语言
2024-03-27 v2 人工智能
摘要
本研究的主要动机是解决大型语言模型(LLM)通常伴随的高硬件和计算需求。因此，我们的目标是在模型轻量化和性能之间找到平衡，力求在使用相对轻量级模型的同时最大化性能。Hyacinth6B正是基于这一目标开发的，旨在充分利用LLM的核心能力，而无需承担大量的资源成本，有效推动较小模型性能的边界。训练方法涉及使用LoRA方法进行参数高效微调。
引用
@article{arxiv.2403.13334,
title = {Hyacinth6B: A large language model for Traditional Chinese},
author = {Chih-Wei Song and Yin-Te Tsai},
journal= {arXiv preprint arXiv:2403.13334},
year = {2024}
}
备注
14pages