维度无关的相似度计算
数据结构与算法
2013-05-24 v4 人工智能
分布式、并行与集群计算
摘要
我们提出了一套用于维度无关相似度计算（Dimension Independent Similarity Computation, DISCO）的算法，以计算非常高维稀疏向量之间的所有成对相似度。我们的所有结果均被证明与维度无关，这意味着除了读取数据的初始平凡开销外，所有后续操作均独立于维度，因此维度可以非常大。我们研究了余弦（Cosine）、Dice、重叠（Overlap）和 Jaccard 相似度度量。对于 Jaccard 相似度，我们包含了一个改进版的 MinHash。我们的结果专为 MapReduce 框架设计。我们利用来自社交网站 Twitter 的大规模数据，实证验证了我们的定理。在撰写本文时，我们的算法已在 twitter.com 投入生产运行。
引用
@article{arxiv.1206.2082,
title = {Dimension Independent Similarity Computation},
author = {Reza Bosagh Zadeh and Ashish Goel},
journal= {arXiv preprint arXiv:1206.2082},
year = {2013}
}