中文

DIMS:度量空间相似性搜索的分布式索引

数据库 2024-10-08 v1 分布式、并行与集群计算

摘要

相似性搜索基于相似性度量找到与给定查询对象相似的对象。随着数据的数量和种类的不断增长,针对度量空间的相似性搜索获得了广泛关注。度量空间可以容纳任何类型的数据并支持灵活的距离度量,使其在许多实际应用中都有益于相似性搜索,包括多媒体检索、个性化推荐、轨迹分析、数据挖掘、决策规划和分布式服务器。然而,现有研究大多 focus on 单机上构建度量空间的索引,面临着随数据volume和查询数量增加的效率和可扩展性限制。近期的相似性搜索发展趋势转向分布式方法,但面临着本地数据管理效率低、工作负载不均衡以及并发搜索效率低等挑战。为此,我们提出DIMS,一种用于度量空间相似性搜索的高效分布式索引。首先,我们设计一种新型的三阶段异构分区以实现工作负载平衡。然后,我们提出一种有效的三阶段索引结构以高效管理对象。我们还开发了支持高效分布式相似性搜索的并发搜索方法,包括过滤和验证技术。此外,我们构思了一个基于成本的优化模型,以平衡通信和计算成本。大量实验表明,DIMS 在现有分布式相似性搜索方法中显著优于其他方法。

关键词

引用

@article{arxiv.2410.05091,
  title  = {DIMS: Distributed Index for Similarity Search in Metric Spaces},
  author = {Yifan Zhu and Chengyang Luo and Tang Qian and Lu Chen and Yunjun Gao and Baihua Zheng},
  journal= {arXiv preprint arXiv:2410.05091},
  year   = {2024}
}