序列的平移等变保相似超向量表示
人工智能
2022-01-03 v1 机器学习
神经与进化计算
摘要
超维计算（HDC），亦称向量符号架构（VSA），是构建认知架构与人工智能系统以及面向技术应用与新兴神经形态及纳米级硬件的一个有前景的框架。HDC/VSA 以超向量为操作对象，即大固定维度（通常 > 1000）的分布式向量表示。HDC/VSA 的关键要素之一是将各类数据（从数值标量、向量到图）编码为超向量的方法。本文提出一种序列超向量生成方法，该方法既提供对序列平移的等变性，又保持具有邻近位置相同元素的序列之间的相似性。我们的方法通过组合超向量表示序列元素，并利用超向量的置换表示序列元素的顺序。我们使用符号串形式的数据，通过多种任务对 proposed 表示进行了实验探索。尽管我们的方法无需特征——它由其符号在其位置上的超向量构成序列超向量——但其表现与采用子序列等各种特征的方法相当。所提技术是为称为稀疏二值分布式表示的 HDC/VSA 模型设计的，但也可适配于其他 HDC/VSA 模型格式的超向量，以及用于表示符号串以外类型的序列。
引用
@article{arxiv.2112.15475,
title = {Shift-Equivariant Similarity-Preserving Hypervector Representations of Sequences},
author = {Dmitri A. Rachkovskij},
journal= {arXiv preprint arXiv:2112.15475},
year = {2022}
}