TinyLLaVA Factory：面向小规模大型多模态模型的模块化代码库
机器学习
2024-05-21 v1
摘要
我们介绍了TinyLLaVA Factory，一个面向小规模大型多模态模型（LMMs）的开源模块化代码库，注重代码实现的简洁性、新功能的可扩展性和训练结果的可复现性。遵循软件工程中工厂模式的设计理念，TinyLLaVA Factory将整个系统模块化为可互换的组件，每个组件集成了一系列前沿模型和方法，同时为扩展更多功能留有空间。除了允许用户自定义自己的LMMs，TinyLLaVA Factory还提供流行的训练配方，让用户以更少的编码工作预训练和微调模型。实证实验验证了我们代码库的有效性。TinyLLaVA Factory的目标是帮助研究人员和从业者在可承受的计算资源下探索设计和训练小规模LMMs的广阔前景。
引用
@article{arxiv.2405.11788,
title = {TinyLLaVA Factory: A Modularized Codebase for Small-scale Large Multimodal Models},
author = {Junlong Jia and Ying Hu and Xi Weng and Yiming Shi and Miao Li and Xingjian Zhang and Baichuan Zhou and Ziyu Liu and Jie Luo and Lei Huang and Ji Wu},
journal= {arXiv preprint arXiv:2405.11788},
year = {2024}
}
备注
Our codebase is made public at https://github.com/TinyLLaVA/TinyLLaVA_Factory with documentation available at https://tinyllava-factory.readthedocs.io/en/latest/