360-LLaMA-Factory：面向长序列后训练的即插即用序列并行
计算与语言
2025-10-09 v2 机器学习
摘要
我们将序列并行加入 LLaMA-Factory，并在 https://github.com/Qihoo360/360-LLaMA-Factory 开源了 360-LLaMA-Factory。360-LLaMA-Factory 已获得广泛认可，并被应用于 Light-R1 arXiv:2503.10460、TinyR1 arXiv:2503.04872、Kaggle AIMO 数学模型以及大型公司的训练框架等模型中。本技术报告深入探讨了 360-LLaMA-Factory 背后不同的序列并行模式，并讨论了我们的实现见解。
关键词
引用
@article{arxiv.2505.22296,
title = {360-LLaMA-Factory: Plug & Play Sequence Parallelism for Long Post-Training},
author = {Haosheng Zou and Xiaowei Lv and Shousheng Jia and Lin Li and Xiaochun Gong and Xiangzheng Zhang},
journal= {arXiv preprint arXiv:2505.22296},
year = {2025}
}
备注
v2: sp for vlms; code at https://github.com/Qihoo360/360-LLaMA-Factory