向量符号架构的容量分析
机器学习
2023-02-16 v2 数据结构与算法
摘要
超维计算（HDC）是一种受生物学启发的框架，它用高维向量表示符号，并使用向量操作来操纵它们。特定向量空间与一组规定的向量操作（包括一个类加法的“捆绑”操作和一个类外积的“绑定”操作）共同构成了一个向量符号架构（VSA）。尽管 VSAs 已被用于众多应用并经过了经验研究，但许多关于 VSAs 的理论问题仍待解决。我们分析了四种常见 VSAs 的表示容量：MAP-I、MAP-B，以及两种基于稀疏二值向量的 VSAs。此处的“表示容量”指的是，为以给定精度执行某些符号任务（如测试集合成员关系 以及估计两个符号集合 和 的交集大小 ）所需的 VSA 向量维数的界限。我们还分析了一种新颖的 Hopfield 网络变体（一种简单的联想记忆模型）执行某些通常要求于 VSAs 的相同任务的能力。除了提供关于 VSA 容量的新界限外，我们的分析建立并利用了 VSAs、“草图”（降维）算法与布隆过滤器之间的联系。
引用
@article{arxiv.2301.10352,
title = {Capacity Analysis of Vector Symbolic Architectures},
author = {Kenneth L. Clarkson and Shashanka Ubaru and Elizabeth Yang},
journal= {arXiv preprint arXiv:2301.10352},
year = {2023}
}