分层相关激活稀疏性在ReLU变换器中的揭示
量子物理
2024-07-11 v1
摘要
先前工作表明，ReLU变换器中的MLP在给定任意token时表现出高度稀疏性，其许多激活等于零。我们在此基础上进一步深入探讨token级稀疏性随训练进程的演化，以及其如何关联到序列或小批量范围内的更广泛稀疏性模式，证明不同层的小型变换器在这两个方面展现出明显的层相关模式。特别是，我们证明网络的第一层和最后一层与稀疏性呈现截然相反的独特关系，并探讨了不同模型深度处特征表示学习结构的含义。我们还探讨了ReLU维度“关闭”的现象，证据表明“神经元死亡”主要由训练动力学驱动，而非仅因异常值随机或偶然发生。
引用
@article{arxiv.2407.07846,
title = {Optimal number of parametrized rotations and Hadamard gates in parametrized Clifford circuits with non-repeated parameters},
author = {Vivien Vandaele and Simon Perdrix and Christophe Vuillot},
journal= {arXiv preprint arXiv:2407.07846},
year = {2024}
}