关于激活与归一化在初始化时获得等距嵌入中的作用
机器学习
2023-11-21 v3 人工智能
机器学习
摘要
在本文中，我们探究深度神经网络中倒数第二层Gram矩阵的结构，该矩阵包含对应于一批输入的输出的两两内积。在若干架构中已观察到，此Gram矩阵在初始化时随深度退化，这极大地拖慢了训练。归一化层，如批归一化或层归一化，在防止秩崩塌问题中起着关键作用。尽管已有令人鼓舞的进展，现有理论结果并未推广到层归一化（其广泛用于transformer中），且无法定量刻画非线性激活的作用。为弥补这一缺口，我们证明层归一化与激活层相结合，在初始化时以随深度指数级的速率将多层感知机的Gram矩阵偏置向单位矩阵。我们利用激活函数的Hermite展开来量化该速率。
引用
@article{arxiv.2305.18399,
title = {On the impact of activation and normalization in obtaining isometric embeddings at initialization},
author = {Amir Joudaki and Hadi Daneshmand and Francis Bach},
journal= {arXiv preprint arXiv:2305.18399},
year = {2023}
}