LayerNorm的几何与动力学
机器学习
2024-05-08 v1
摘要
一份旨在为深度神经网络中常见的LayerNorm函数提供更深入直觉的技术笔记。LayerNorm是相对于一个特定的“神经”基定义的，但它不仅仅是对相应向量元素进行归一化。相反，它在输入激活向量上实现了一个组合——线性投影、非线性缩放，然后仿射变换。我们开发了新的数学表达式和几何直觉，以使净效果更加透明。我们强调，当LayerNorm作用于N维向量空间时，LayerNorm的所有结果都位于一个(N-1)维超平面与一个N维超椭球内部的交集内。这个交集是一个(N-1)维超椭球的内部，典型输入被映射到其表面附近。我们通过一个简单构造矩阵的特征分解，找到了这个(N-1)维超椭球的主轴方向和长度。
引用
@article{arxiv.2405.04134,
title = {Geometry and Dynamics of LayerNorm},
author = {Paul M. Riechers},
journal= {arXiv preprint arXiv:2405.04134},
year = {2024}
}