波网络的反向传播
计算与语言
2025-01-14 v2 人工智能
摘要
本文对 Wave Network 进行深入分析，这是一种新颖的 token 表示方法，源自波网络，旨在通过波动-inspired 复向量捕捉输入文本的全局和局部语义。在复向量 token 表示中，每个 token 由一个分量表示，捕捉整个输入文本的全局语义，以及一个相位分量，编码单个 token 与全局语义之间的关系。建立在先前研究表明，在前向传播期间，类似波动操作（如干涉和调制）具有有效性的基础上，本研究探讨了 Token2Wave 框架的收敛行为、反向传播特征以及嵌入的独立性。详细的计算复杂度分析表明，Token2Wave 相较于 BERT 在显存使用和训练时间方面显著减少。关于 [CLS] token、总输入文本和分类器参数的梯度比较进一步凸显了 Token2Wave 的独特特征。本研究为波基 token 表示提供了新见解，表明它们有潜力实现高效且计算友好的语言模型架构。
关键词
引用
@article{arxiv.2411.06989,
title = {The Backpropagation of the Wave Network},
author = {Xin Zhang and Victor S. Sheng},
journal= {arXiv preprint arXiv:2411.06989},
year = {2025}
}