广义全息 reduced 表示
机器学习
2026-05-28 v2 人工智能
符号计算
摘要
超维计算 (Holographic Computing, HDC) 是一种计算和数据高效的范式，充当了连接主义和符号主义人工智能方法之间的桥梁。然而，HDC 的简单性在编码复杂构成结构方面存在挑战，尤其是在其绑定操作方面。为此，我们提出广义全息 reduced 表示 (Generalized Holographic Reduced Representations, GHRR)，这是一种对 Fourier 全息 reduced 表示 (Fourier Holographic Reduced Representations, FHRR) 的扩展，即 HDC 的具体实现之一。GHRR 引入了灵活的、非交换的绑定操作，使其能够在保持 HDC 良好属性（如鲁棒性和透明性）的同时，提高对复杂数据结构的编码能力。在本文中，我们介绍 GHRR 框架，证明其理论属性及其对 HDC 属性的遵循，探讨其核函数和绑定特征，并进行实验展示其灵活的非交换性、对构成结构解码准确率的提升。我们还展示了 GHRR 中的绑定比其他 HDC 变体更具表达性；特别是，我们表明 GHRR 中的绑定可以实现一种类注意力机制。我们通过用其 GHRR 等效替换 transformer 中的注意力机制，并在语言建模任务上进行测试，表明其性能优于普通 transformer。
引用
@article{arxiv.2405.09689,
title = {Generalized Holographic Reduced Representations},
author = {Calvin Yeung and Zhuowen Zou and SungHeon Jeong and Wenjun Huang and Nathaniel D Bastian and Mohsen Imani},
journal= {arXiv preprint arXiv:2405.09689},
year = {2026}
}