语言模型的链式模型学习
计算与语言
2025-05-26 v2
摘要
本文提出一种新颖的学习范式，称为链式模型学习（Chain-of-Model, CoM），将因果关系纳入每个层的隐藏状态中，以链式风格方式引入模型训练和推理部署中的扩展效率。我们提出链式表示（Chain-of-Representation, CoR）的概念，将每个层的隐藏状态形式化为来自隐藏维度水平上多个子表示（即链）的组合。在每个层中，来自输出表示的每个链只能查看输入表示中所有 preceding 链。因此，基于CoM框架构建的模型可以通过增加前一个模型（即链）的链数来逐步扩大模型规模，并通过使用不同的链数提供多个不同大小的子模型，以实现弹性推理。在此原则基础上，我们设计了链式语言模型（Chain-of-Language-Model, CoLM），将CoM的思想纳入Transformer架构每个层中。基于CoLM，我们进一步引入CoLM-Air，通过引入 KV sharing 机制，在第一个链中计算所有键和值，然后在所有链之间共享，从而展示了额外的可扩展性，如无缝 LM 切换、预填充加速等。实验结果表明，我们的CoLM系列在保持与标准Transformer相当性能的同时，实现了更大的灵活性，如通过逐步扩展来提高训练效率，并为弹性推理提供多个不同规模的模型，为构建语言模型开辟了新道路。我们的代码将在未来于https://github.com/microsoft/CoLM发布。
引用
@article{arxiv.2505.11820,
title = {Chain-of-Model Learning for Language Model},
author = {Kaitao Song and Xiaohua Wang and Xu Tan and Huiqiang Jiang and Chengruidong Zhang and Yongliang Shen and Cen LU and Zihao Li and Zifan Song and Caihua Shan and Yansen Wang and Kan Ren and Xiaoqing Zheng and Tao Qin and Yuqing Yang and Dongsheng Li and Lili Qiu},
journal= {arXiv preprint arXiv:2505.11820},
year = {2025}
}