基于连续概念的大语言模型预训练
机器学习
2025-02-13 v1 计算与语言
摘要
下一个标记预测是大规模语言模型预训练中所采用的标准训练目标。通过优化标记级别的困惑度，学习到的表征即为此结果。我们提出了连续概念混合（CoCoMix），一种新颖的预训练框架，将离散的下一个标记预测与连续概念相结合。具体而言，CoCoMix预测从预训练稀疏自编码器中学习到的连续概念，并通过在标记隐藏表示之间交错插入来将其混合到模型的隐藏状态中。通过在多个基准测试上的实验，包括语言建模和下游推理任务，我们展示CoCoMix在样本效率上更优，且始终优于标准的下一个标记预测、知识蒸馏和插入暂停标记。我们发现，将概念学习和交错插入在端到端框架中结合是获得性能提升的关键。此外，CoCoMix通过允许直接检查和修改预测概念，增强了可解释性和可操控性，提供了一种透明的方式来引导模型内部推理过程。
引用
@article{arxiv.2502.08524,
title = {LLM Pretraining with Continuous Concepts},
author = {Jihoon Tack and Jack Lanchantin and Jane Yu and Andrew Cohen and Ilia Kulikov and Janice Lan and Shibo Hao and Yuandong Tian and Jason Weston and Xian Li},
journal= {arXiv preprint arXiv:2502.08524},
year = {2025}
}