向量符号架构中基于自注意力的语义分解
计算机视觉与模式识别
2024-03-21 v1 人工智能
符号计算
摘要
向量符号架构（Vector Symbolic Architectures, VSAs）已成为一种新框架，能够实现具备推理和解释决策过程能力的可解释机器学习算法。其基本思想是通过高维随机向量表示离散信息。可以通过向量上的操作构建复杂数据结构，例如涉及逐元素向量乘法的“绑定”操作，将数据关联在一起。分解关联元素的反向任务是一个组合困难的问题，具有指数级大的搜索空间。执行此搜索的主要算法是共振网络，其灵感来自基于Hopfield网络的记忆搜索操作。在本工作中，我们引入了共振网络的一个新变体，该变体基于迭代搜索问题中的自注意力更新规则。我们展示了这种基于具有log-sum-exp能量函数和范数有界状态的Hopfield网络的更新规则，能够显著提高性能和收敛速度。因此，我们的算法实现了更大的联想记忆容量，支持在基于感知的模式识别、场景分解和目标推理等众多任务中的应用。我们通过全面的评估和与基线的比较来验证我们的算法。
引用
@article{arxiv.2403.13218,
title = {Self-Attention Based Semantic Decomposition in Vector Symbolic Architectures},
author = {Calvin Yeung and Prathyush Poduval and Mohsen Imani},
journal= {arXiv preprint arXiv:2403.13218},
year = {2024}
}