Llamion 技术报告
摘要
我们发布 Llamion，一组 14B 参数的开源权重语言模型，通过将 Orion-14B 转换为标准 Llama-family 架构而获得。该转换通过 Efficient Knowledge Preservation for Transformation (KEPT) 完成，这一配方组合了 (i) 未更改模块的 Normal Parameter Mapping (NPM)，(ii) 在权重衰减诱导的 near-zero-mean 激活 regime 下我们在证明最优性的 Optimized Parameter Mapping (OPM)，一种 training-free LayerNorm-to-RMSNorm 初始化，以及 (iii) Cross-architecture Knowledge Distillation (XKD)，一种 equal-size frozen-teacher distillation，用于在任何合理的输入分布上将转换后模型的输出与源模型对齐。Llamion 在 H6、MT-Bench 和 KoMMLU 上恢复 Orion 的行为，仅用约 123M token 在单个 A100 上四天即可；Llamion-Base 在 KoMMLU 上达到 66.87%，超过提交时下一最佳条目高出 >7.0 个绝对分数。完全不存在于迁移语料中的功能（Python 编程和 200K-token 上下文处理）在架构转换过程中保持完整。我们发布三个 checkpoint（Base、Chat、LongChat），可在 Hugging Face Transformers 库中使用 trust_remote_code=False 加载。
引用
@article{arxiv.2605.25676,
title = {Llamion Technical Report},
author = {Kisu Yang and Yoonna Jang and Hyeonseok Moon and Hwanseok Jang and Taewoo Lee and Hyungjin Lee and Jeseung Lee and Juhyoung Park and Heuiseok Lim},
journal= {arXiv preprint arXiv:2605.25676},
year = {2026}
}
备注
Research conducted in 2024