基于神经元的多重分形分析：探究大模型中神经元交互动力学

近年来，大模型的能力受到越来越多的关注，尤其是在处理小规模模型无法完成的复杂任务方面。值得注意的是，大语言模型（LLMs）已展现出诸如复杂推理和抽象语言理解等“智能”能力，反映了类似认知的行为。然而，当前关于大模型涌现能力的研究主要集中在模型性能与规模之间的关系上，在驱动这些涌现能力的内部结构和机制的系统性定量分析方面留下了显著空白。从神经科学对脑网络结构和自组织的研究中汲取灵感，我们提出了 (i) 大模型的一种通用网络表示，(ii) 一种用于结构分析的新分析框架，称为基于神经元的多重形分析（NeuroMFA），以及 (iii) 一种新颖的基于结构的度量，作为大模型涌现能力的代理指标。通过将结构特征与大模型的能力联系起来，NeuroMFA 为分析大模型中的涌现现象提供了一个定量框架。我们的实验表明，所提方法能够全面度量网络不断演化的异质性和组织性，为研究大模型中的涌现能力提供了理论基础和新视角。