Birbal：使用精选数据集微调的高效 7B 指令模型
计算与语言
2024-03-05 v1
摘要
由于硬件要求，LLMOps 产生高昂的成本，阻碍了其广泛普及。此外，模型训练方法和数据缺乏透明度，导致大多数模型不可复现。为了应对这些挑战，NeurIPS Workshop 引入了 LLM Efficiency Challenge，旨在通过在单个 GPU（RTX 4090 或具有 40GB 显存的 A100）上进行微调，在 24 小时内使基础模型适应多种任务。在这篇系统描述论文中，我们介绍了 Birbal，我们基于 Mistral-7B 的获胜模型，在单个 RTX 4090 上微调了 16 小时。Birbal 的成功在于精选涵盖多种任务的高质量指令，使其性能比基于 Qwen-14B 的第二名提交方案提高了 35%。
引用
@article{arxiv.2403.02247,
title = {Birbal: An efficient 7B instruct-model fine-tuned with curated datasets},
author = {Ashvini Kumar Jindal and Pawan Kumar Rajpoot and Ankur Parikh},
journal= {arXiv preprint arXiv:2403.02247},
year = {2024}
}