使用TCAM的相似性搜索与局部敏感哈希

相似性搜索方法被广泛用作各种机器学习应用中的核心算法。给定一个查询，最近邻搜索（NNS）算法通常用于检索相似的条目。虽然存在使用哈希进行精确查询查找的高效技术，但使用精确最近邻的相似性搜索被认为是一个难题，在高维空间中，已知的最佳解决方案比线性扫描改进甚微。近似NNS问题的快速解决方案包括基于局部敏感哈希（LSH）的技术，这些技术需要存储空间为$n$的多项式（指数大于1），查询时间为次线性但仍为$n$的多项式，其中$n$是数据库的大小。在这项工作中，我们提出了一种使用三态内容寻址存储器（TCAM）在欧几里得空间中解决近似NNS问题的新技术，该技术需要接近线性的空间，并且查询时间为O(1)。事实上，这种方法在使用接近数据库大小线性的数据结构时，也绕过了单元探针模型中查询时间的最佳已知下界。TCAM是一种高性能的联想存储器，广泛用于访问控制列表等网络应用。TCAM可以在三态向量的数据库中查询一个位向量，其中每个位位置代表$0$、$1$或$*$。$*$是一个通配符，代表$0$或$1$。我们利用TCAM设计了一种LSH的变体，称为三态局部敏感哈希（TLSH），其中我们将由欧几里得空间中的向量表示的数据库条目哈希到$\{0,1,*\}$中。通过利用TLSH方案相对于$*$字符的附加功能，我们仅用1次TCAM访问和接近数据库大小线性的存储就解决了一个近似最近邻问题的实例。我们相信这项工作可以为超高速数据挖掘开辟新的途径。