LlamaFactory：100+语言模型的统一高效微调
计算与语言
2024-07-01 v4 人工智能
摘要
高效微调对于将大型语言模型(LLMs)适应下游任务至关重要，但需要投入 considerable 工作才能在不同模型上实现这些方法。我们提出LlamaFactory，一个统一的框架，集成了一系列前沿高效训练方法。它通过内置的 Web UI LlamaBoard，为对100+ LLMs进行灵活的微调提供了解决方案，无需编写代码。我们在语言模型和文本生成任务上实证验证了框架的效率和效果。该项目已发布于 https://github.com/hiyouga/LLaMA-Factory，已获得超过25,000个星标和3,000个fork。
引用
@article{arxiv.2403.13372,
title = {LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models},
author = {Yaowei Zheng and Richong Zhang and Junhao Zhang and Yanhan Ye and Zheyan Luo and Zhangchi Feng and Yongqiang Ma},
journal= {arXiv preprint arXiv:2403.13372},
year = {2024}
}
备注
13 pages, accepted to ACL 2024 System Demonstration Track