语言模型的胚胎学发展
机器学习
2025-08-04 v1
摘要
理解语言模型如何发展其内部计算结构是深度学习科学的核心问题。虽然源自统计物理的susceptibility（灵敏度）是一条有前景的分析工具，但其在可视化网络组织方面的完全潜力尚未被充分挖掘。本文我们引入一种胚胎学方法，将UMAP应用于灵敏度矩阵，以可视化模型在训练期间的结构发展。我们的可视化结果揭示了清晰的“体节图”（body plan）的出现，描绘了已知特征（如诱导电路）的形成，并发现了以“间隔鳍”（spacing fin）专门计数空间token的先前未知结构。本工作表明，灵敏度分析不仅可用于验证，还能发现新机制，为研究复杂神经网络的发展原则提供了强大的、整体性的视角。
引用
@article{arxiv.2508.00331,
title = {Embryology of a Language Model},
author = {George Wang and Garrett Baker and Andrew Gordon and Daniel Murfet},
journal= {arXiv preprint arXiv:2508.00331},
year = {2025}
}