xGen-small 技术报告
计算与语言
2025-05-13 v1 人工智能
摘要
我们介绍 xGen-small，这是一套针对长上下文应用优化的 4B 和 9B 规模的 Transformer 解码器模型族。我们的垂直集成管道融合了领域均衡、频率感知的数据 curated 策略；多阶段预训练，包含质量退火和扩展至 128k token 的长度；以及通过监督微调、偏好学习和在线强化学习进行的针对性后训练。xGen-small 在各类任务上均表现出强大的性能，尤其在数学和编码领域，同时在长上下文基准测试中表现出色。
引用
@article{arxiv.2505.06496,
title = {xGen-small Technical Report},
author = {Erik Nijkamp and Bo Pang and Egor Pakhomov and Akash Gokul and Jin Qu and Silvio Savarese and Yingbo Zhou and Caiming Xiong},
journal= {arXiv preprint arXiv:2505.06496},
year = {2025}
}