特征具有生命史，且我们应当予以关注
神经元与认知
2026-05-20 v1 人工智能
摘要
语言模型中的特征具有生命史：它们在训练过程中涌现、存续与消亡，然而这一生命史的重要性在很大程度上尚未被探索。我们发现了持久表征骨架的证据，并在 Pythia-160M 和 -410M 中将其识别为载体支架：约 50 个具有稳定生命史的稀疏特征，模型的表征结构围绕其组织。它具有四个性质。(i) 早期组装：在训练的前 1% 阶段，特征的涌现、消亡与重组速度比此后快约 40 倍，且支架在那时已基本固定。(ii) 承重：跨层联合消融识别出载体的承重程度远高于任何数量匹配的非支架群体，这一差距在单次触发的单特征方法中是不可见的。(iii) 功能先于方向：哪些特征将成为载体，仅从训练起始的触发模式即可预测，在几何结构稳定之前，便能在 5 例中的 4 例正确区分未来载体与非载体。(iv) 播种后续发展：到训练结束时，支架载体已将 64% 的活跃特征招募入支架层级。生命史与训练的两阶段描述一致：选择似乎在前 1% 基本决定了支架；剩余的 99% 似乎是在已设定的基底上校准几何结构。
引用
@article{arxiv.2605.18789,
title = {Features have life history. And we should care},
author = {Philipp Stecher and Sandro Radovanović and Vlasta Sikimić and Reinhard Kahle},
journal= {arXiv preprint arXiv:2605.18789},
year = {2026}
}
备注
21 pages, 7 figures