Lightning Self-Attention 的几何性质：可识别性与维数
机器学习
2025-02-20 v2 代数几何
摘要
我们考虑由无归一化的自注意力网络定义的函数空间，并从理论上分析其几何性质。由于这些网络是多项式的，我们依赖代数几何工具。特别地，我们通过描述任意层数参数化的通用纤维来研究深度注意力的可识别性，并作为推论计算了函数空间的维数。此外，对于单层模型，我们刻画了其奇点与边界点。最后，我们将结果形式化地推广至归一化自注意力网络，证明了单层情况下的结论，并在深度情形下进行了数值验证。
引用
@article{arxiv.2408.17221,
title = {Geometry of Lightning Self-Attention: Identifiability and Dimension},
author = {Nathan W. Henry and Giovanni Luca Marchetti and Kathlén Kohn},
journal= {arXiv preprint arXiv:2408.17221},
year = {2025}
}
备注
Accepted at ICLR 2025