基于索引的高维余弦阈值查询及其最优性保证

给定一个向量数据库，余弦阈值查询返回数据库中与查询向量余弦相似度高于给定阈值 {\theta} 的所有向量。这类查询在许多应用中自然出现，例如文档检索、图像搜索和质谱分析。本文考虑此类查询的高效求值，提供新颖的最优性保证，并在真实数据集上展现出良好的性能。我们以 Fagin 著名的阈值算法 (TA) 为出发点，该算法可用于回答余弦阈值查询，方式如下：在预处理阶段首先从数据库向量构建倒排索引；在查询时，算法部分遍历索引以收集一组候选向量，随后验证其是否具有 {\theta}-相似度。然而，直接以原始形式应用 TA 会错失显著的优化机会。事实上，我们首先证明，可以利用向量可假定为已归一化这一事实，获得改进的、紧致的索引遍历停止条件，并高效地以增量方式计算它。接着我们证明，可以利用数据偏斜来获得更好的遍历策略。特别地，我们展示了一种新颖的遍历策略，它利用了在包括质谱、文档和图像数据库在内的多个领域中成立的一种常见数据偏斜条件。我们证明，在偏斜假设下，新遍历策略具有强力的、近最优的性能保证。本文开发的技术具有相当的通用性，因为它们可应用于除余弦之外的一大类相似度函数。