从认知到表达：基于线性表示的LLM之旅

本文对大型语言模型（LLM）中认知与表达能力的演变及其相互作用进行深入考察，具体聚焦Baichuan-7B和Baichuan-33B这一套先进的双语（中文和英文）LLM系列。我们定义并探讨了LLM的认知与表达能力通过线性表示在三个关键阶段的演进：预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）。认知能力被定义为神经网络中神经输出向量所传递信息的数量和质量，类似于人类认知中的神经信号处理。表达能力被定义为模型产生词级输出的能力。我们的发现揭示了一种顺序发展模式：认知能力主要在预训练阶段建立，而表达能力则主要在SFT和RLHF阶段进步。统计分析确认了两种能力之间存在显著相关性，表明认知容量可能限制表达潜力。本文还探讨了这些不同发展轨迹的理论依据及其与LLM架构设计的关联。此外，我们评估了各种独立于优化的策略，如few-shot学习和重复抽样，这些策略弥合了认知与表达能力之间的差距。这项研究揭示了隐藏空间与输出空间之间的潜在联系，为LLM训练过程的可解释性和可控性提供了宝贵的见解。