关于无维数 Transformer：STP 方法在人工智能中的应用
机器学习
2025-04-22 v1 人工智能
系统与控制
系统与控制
摘要
首先描述了 Transformer 每一部分的数矩阵表达式。基于矩阵的半张量积 (STP) 重新考虑了高维向量，并通过投影构建了高维向量上的线性变换。获得了其性质和计算公式。通过基于投影的高维向量变换 (PBSH)，提出了无维数 Transformer (DFT) 的框架，通过验证 Transformer 中每个线性变换并用适当的 PBSH 替代，使得输入输出可以是任意维数。通过充分考虑所有条目信息，DFT 在处理信号方面必须更高效。
关键词
引用
@article{arxiv.2504.14514,
title = {On Dimension-Free Transformer: An Application of STP to AI},
author = {Daizhan Cheng},
journal= {arXiv preprint arXiv:2504.14514},
year = {2025}
}