损失优化到底教会了什么？在LLM持续预训练中的知识动态
计算与语言
2026-01-08 v1
摘要
持续预训练（CPT）在获取和更新LLM事实知识方面广泛使用。该实践将损失视为知识学习的代理，却未能解释其在训练期间的变化。我们将CPT视为一种知识学习过程而非仅仅是优化问题。我们构建了一个受控且分布匹配的事实文件基准，并在CPT循环中直接嵌入诊断探针，使其能够在epoch级别测量知识获取动态以及对Out-Of-Domain（OOD）通用技能（如数学）的变化。我们进一步分析了CPT如何在训练期间重塑知识电路。基于三个指令调优LLM和多种CPT策略，我们发现优化与学习系统性地偏离：损失单调下降，而事实学习不稳定且非单调。所获事实极少被巩固，学习强烈依赖于先前暴露，OOD性能从早期epoch即恶化。电路分析揭示了跨epoch知识路径的快速重构，为窄化获取窗口和系统性遗忘提供了解释。这些结果表明，损失优化在CPT中与学习进度不一致，动机在基于任务级学习动态的评估停机准则。
引用
@article{arxiv.2601.03858,
title = {What Does Loss Optimization Actually Teach, If Anything? Knowledge Dynamics in Continual Pre-training of LLMs},
author = {Seyed Mahed Mousavi and Simone Alghisi and Giuseppe Riccardi},
journal= {arXiv preprint arXiv:2601.03858},
year = {2026}
}