ixi-GEN：基于域适应持续预训练的高效工业小型大语言模型
计算与语言
2025-10-24 v4 人工智能
机器学习
摘要
开源大语言模型 (LLM) 的出现扩充了企业应用的机会；然而，许多组织仍缺乏部署和维护大规模模型的基础设施。因此，小型大语言模型 (sLLM) 成为一种实用的替代方案，尽管存在固有的性能局限。虽然域适应持续预训练 (DACP) 已被用于域适应，但其在商业环境中的实用性尚未得到充分考察。本研究在多种基础模型和服务领域中验证了基于 DACP 的配方的有效性，产生了 DACP 应用的 sLLM (ixi-GEN)。通过大量实验和实际评估，我们展示 ixi-GEN 模型在目标域性能上实现了显著提升，同时保持了通用能力，为企业级部署提供了成本效益高且可扩展的解决方案。
引用
@article{arxiv.2507.06795,
title = {ixi-GEN: Efficient Industrial sLLMs through Domain Adaptive Continual Pretraining},
author = {Seonwu Kim and Yohan Na and Kihun Kim and Hanhee Cho and Geun Lim and Mintae Kim and Seongik Park and Ki Hyun Kim and Youngsub Han and Byoung-Ki Jeon},
journal= {arXiv preprint arXiv:2507.06795},
year = {2025}
}
备注
Accepted at EMNLP 2025 Industry Track