半结构化文本检索中的动态用户自定义相似度搜索

现代文本检索系统通常提供相似度搜索实用程序，允许用户高效地找到数据集中与给定查询最相似的固定数量 k 的文档（此处的查询或者是简单的关键词序列，或者是先前搜索中发现的被认为感兴趣的完整文档的标识符）。我们考虑由半结构化文档组成的文本数据库的情况。每个字段依次由特定的向量空间建模。当我们还允许每个此类向量空间具有关联的用户自定义动态权重，该权重影响其对整体动态聚合加权相似度的贡献时，问题变得更加复杂。Singitham 等人在 VLDB 2004 上的一篇近期论文解决了这一动态问题。他们提出的解决方案作为我们的基线，是集群剪枝技术的一种变体，具有扩展到超大型文档语料库的潜力，并且远比朴素穷举搜索高效。我们设计了一种将权重嵌入数据结构的替代方法，并结合了基于最远点优先启发式（针对度量 k-中心问题）的聚类算法的非平凡应用。通过展示相比 Singitham 等人在 VLDB 2004 上提出的方案具有显著的性能提升，我们方法的正确性得到了实验证明。相较于 Singitham 等人在 VLDB 2004 上的基线方法，以及 Chierichetti 等人即将发表于 ACM PODS 2007 的新方法，我们在查询时间与输出质量之间的权衡上取得了显著改善。我们还使预处理时间加速了至少三十倍。