基于 Lp 范数增强 QKNorm 归一化用于神经网络变换器
机器学习
2026-02-06 v1 人工智能
计算与语言
摘要
查询向量和键向量的归一化是 Transformer 架构中的重要组成部分。它确保了无论这些向量的规模如何，学习过程都稳定。本文提出了一种 QKNorm 归一化方案的泛化方法。该方法基于 Lp 范数，允许采用非欧几里得范数。实验结果表明，该方法适用于解决简单问题。
引用
@article{arxiv.2602.05006,
title = {Enhanced QKNorm normalization for neural transformers with the Lp norm},
author = {Ezequiel Lopez-Rubio and Javier Montes-Perez and Esteban Jose Palomo},
journal= {arXiv preprint arXiv:2602.05006},
year = {2026}
}