聚类头：Transformer 训练动态的视觉案例研究
机器学习
2025-02-04 v2 机器学习
摘要
本文引入了稀疏模加法任务，并考察了 Transformer 如何学习该任务。我们专注于嵌入位于 空间的 Transformer，并引入了一个可视化沙盒，该沙盒提供了整个训练过程中每一层的全面可视化。我们揭示了一种称为“聚类头”的电路，它学习问题的不变量。我们分析了这些电路的训练动态，重点阐述了两阶段学习、由高曲率或归一化层引起的损失尖峰，以及初始化和课程学习的影响。
引用
@article{arxiv.2410.24050,
title = {Clustering Head: A Visual Case Study of the Training Dynamics in Transformers},
author = {Ambroise Odonnat and Wassim Bouaziz and Vivien Cabannes},
journal= {arXiv preprint arXiv:2410.24050},
year = {2025}
}