PLaMo 2 技术报告
计算与语言
2025-09-26 v2 人工智能
机器学习
摘要
在本报告中，我们介绍了PLaMo 2，这是一个面向日语的大型语言模型系列，其特点是采用基于Samba的混合架构，通过持续预训练过渡到全注意力机制，以支持32K token的上下文。训练利用广泛的合成语料库来克服数据稀缺性，同时通过权重复用和结构化剪枝实现计算效率。这种高效的剪枝方法产生了一个80亿参数的模型，其性能可与我们先前的1000亿参数模型相媲美。后训练通过一个由监督微调和直接偏好优化组成的流程进一步优化模型，并辅以合成日语指令数据和模型合并技术。PLaMo 2模型针对使用vLLM和量化进行推理进行了优化，精度损失极小，在日语基准测试上取得了最先进的结果，在指令遵循、语言流畅性和日语特定知识方面优于同等规模的开源模型。
引用
@article{arxiv.2509.04897,
title = {PLaMo 2 Technical Report},
author = {Preferred Networks and : and Kaizaburo Chubachi and Yasuhiro Fujita and Shinichi Hemmi and Yuta Hirokawa and Kentaro Imajo and Toshiki Kataoka and Goro Kobayashi and Kenichi Maehashi and Calvin Metzger and Hiroaki Mikami and Shogo Murai and Daisuke Nishino and Kento Nozawa and Toru Ogawa and Shintarou Okada and Daisuke Okanohara and Shunta Saito and Shotaro Sano and Shuji Suzuki and Kuniyuki Takahashi and Daisuke Tanaka and Avinash Ummadisingu and Hanqin Wang and Sixue Wang and Tianqi Xu},
journal= {arXiv preprint arXiv:2509.04897},
year = {2025}
}