通过经验神经张量核识别特征

我们提供了证据，表明对经验神经张量核(eNTK)的特征分解可以揭示训练神经网络中的特征方向。在三个日益真实的设置下——在模块加法上训练的单层MLP、在模块加法上训练的单层Transformer以及预训练语言模型Gemma-3-270M——我们展示了eNTK的顶层特征空间与ground-truth或可解释特征对齐。在模块算术示例中，eNTK的顶层特征空间与MLP使用的傅里叶特征以及Transformer在种子依赖频率上使用的傅里叶特征对齐，以实现已知的ground-truth算法。此外，相关子空间的对齐随训练演变，其一阶导数在grokking发生时达到峰值。对于Gemma-3-270M，我们在TinyStories上下文窗口数据集上计算前eNTK特征方向，并检查其与自动生成的词性及其他语法特征方向的对齐情况。我们发现，eNTK特征方向与语法特征的对齐性能优于基于模型激活的PCA基线。这些结果表明，eNTK特征分解可能提供一种新的把握用于机理可解释性中识别训练模型特征的方法。