Pigeonring：一种加速阈值化相似度搜索的原理

鸽巢原理指出，若 $n$ 个物品被放入 $m$ 个盒子中，则至少有一个盒子中的物品数不超过 $n / m$。该原理被用于解决许多数据管理问题，尤其是阈值化相似度搜索。尽管过去几十年提出了许多基于鸽巢原理的解决方案，但该原理所表述的条件较弱，仅约束单个盒子中的物品数量。通过将盒子组织成环，我们提出了一种称为鸽巢环（pigeonring）原理的新原理，它约束多个盒子中的物品数量并给出更强的条件。为利用新原理，我们关注一类定义为识别与查询的相似度或距离受阈值约束的数据对象的问题。这类问题的许多解决方案利用鸽巢原理寻找满足过滤条件的候选对象。借助新原理，可建立更强的过滤条件。我们证明鸽巢原理是新原理的特例，这意味着所有基于鸽巢原理的解决方案都有可能通过新原理加速。我们引入了一个通用过滤框架，以涵盖基于新原理的这些问题解决方案。此外，我们讨论了如何快速找到新原理所指定的候选对象。实现仅需在现有基于鸽巢原理的算法之上做少量修改。在真实数据集上的实验结果证明了新原理的适用性以及基于新原理算法的优越性能。