理解用于并行单遍学习的超维计算
机器学习
2023-01-06 v2 分布式、并行与集群计算
神经与进化计算
摘要
超维计算（HDC）是一种新兴的学习范式，它使用高维二进制向量进行计算。因其能效高和低延迟而具有吸引力，尤其是在新兴硬件上——但 HDC 存在模型准确率低的问题，且对其性能限制因素的理论理解甚少。我们通过考虑二进制向量可以“表达”哪些相似性矩阵，提出了一种新的 HDC 局限性理论分析，并展示了如何使用随机傅里叶特征（RFF）来逼近 HDC 的极限。我们将分析扩展到更一般的向量符号架构（VSA）类别，这些架构使用不一定是二进制的高维向量（超向量）进行计算。我们提出了一类新的 VSA，即有限群 VSA，它超越了 HDC 的局限性。利用表示论，我们刻画了有限群 VSA 超向量可以“表达”哪些相似性矩阵，并展示了如何构建这些 VSA。实验结果表明，我们的 RFF 方法和群 VSA 都能以高达 7.6% 的优势超越最先进的 HDC 模型，同时保持硬件效率。
引用
@article{arxiv.2202.04805,
title = {Understanding Hyperdimensional Computing for Parallel Single-Pass Learning},
author = {Tao Yu and Yichi Zhang and Zhiru Zhang and Christopher De Sa},
journal= {arXiv preprint arXiv:2202.04805},
year = {2023}
}