$b$ 位草图字典树：基于整数草图的可扩展相似性搜索
机器学习
2019-10-21 v1 机器学习
摘要
近来，将向量数据随机映射为离散符号串（即草图）以实现快速且节省空间的相似性搜索已变得流行。这种随机映射称为保相似度哈希，并利用汉明距离近似相似性度量。尽管已提出许多高效的相似性搜索方法，但大多针对二值草图设计。基于整数草图的相似性搜索尚处于起步阶段。本文利用简洁数据结构（即节省空间的数据结构，同时支持压缩格式下的多种数据操作）的思想以及整数草图作为定长字符串的有利特性，提出了一种名为 -bit sketch trie 的、基于整数草图的新颖节省空间字典树，用于可扩展相似性搜索。使用真实数据集的实验结果表明，该基于字典树的索引由整数草图构建，并通过剪枝无用的搜索空间部分在索引上高效执行相似性搜索，大幅提升了相似性搜索的时间与空间效率。实验结果显示，我们的相似性搜索比最先进的相似性搜索快至多一个数量级。此外，在十亿规模数据库上，我们的方法仅需 10 GiB 内存，而最先进的相似性搜索需要 29 GiB 内存。
引用
@article{arxiv.1910.08278,
title = {$b$-Bit Sketch Trie: Scalable Similarity Search on Integer Sketches},
author = {Shunsuke Kanda and Yasuo Tabei},
journal= {arXiv preprint arXiv:1910.08278},
year = {2019}
}
备注
To be appeared in the Proceedings of IEEE BigData'19