面向向量符号的残差与注意力架构
机器学习
2022-07-20 v1 神经与进化计算
摘要
向量符号架构（VSA）提供了高度灵活且具备独特优势的计算方法。VSA 中的概念由“符号”表示，即利用高维空间特性来表示和处理信息的长数值向量。在这项新工作中，我们将傅里叶全息约简表示（FHRR）VSA 框架内操作的高效性与深度网络的强大能力相结合，构建了基于 VSA 的新型残差和注意力神经网络架构。使用注意力 FHRR 架构，我们展示了同一网络架构可通过将不同信息编码到网络输入中来处理来自不同领域（图像分类与分子毒性预测）的问题，类似于 Perceiver 模型。这展示了 VSA 的新应用以及在新颖硬件上实现最先进神经模型的潜在路径。
引用
@article{arxiv.2207.08953,
title = {Residual and Attentional Architectures for Vector-Symbols},
author = {Wilkie Olin-Ammentorp Maxim Bazhenov},
journal= {arXiv preprint arXiv:2207.08953},
year = {2022}
}
备注
6 pages, 7 figures, 1 table