Holonorm
机器学习
2025-11-14 v1
摘要
归一化是变压器训练中的关键问题。在 Dynamic Tanh (DyT) 中，作者展示了 Tanh 可用作替代层归一化 (LN)，并确认了这一思想的有效性。但 Tanh 本身面临正交性、线性和失真问题。由于此原因，他的提议并不可靠。因此，我们提出了 Holonorm (hn)，它具有残差连接和非线性。Holonorm 适用于替换 Tanh 的归一化上下文。虽然 HoloNorm 的表达式在维度为一时可能类似于 softsign 函数，但 softsign 是分量函数，对高维张量和向量并不友好。Holonorm 保持正交性、方向和信号的可逆性。Holonorm 也是合适的度量，将所有向量映射到开放单位球内。这防止了激活值爆炸，提高了深层变压器模型的稳定性。在本工作中，我们仔细检查了变压器中的归一化问题，认为 Holonorm 作为归一化函数的广义 softsign 函数形式是第一次提出的。其次，定义在 0 到 1 之间，hn 作为百分比， 为其补数，使其在评估模型时更易于理解。
引用
@article{arxiv.2511.10504,
title = {Holonorm},
author = {Daryl Noupa Yongueng and Hamidou Tembine},
journal= {arXiv preprint arXiv:2511.10504},
year = {2025}
}
备注
17 pages, 11 figures, 10 tables, 2 datasets. A stable geometric alternative to LayerNorm and Tanh normalization in deep neural networks