大索引规模下稠密低维信息检索的诅咒

使用稠密低维表示的信息检索近期变得流行，并展现出优于 BM25 等传统稀疏表示的性能。然而，此前没有工作研究过稠密表示在大型索引规模下的表现。我们从理论和实验上证明，随着索引规模增加，稠密表示的性能比稀疏表示下降得更快。在极端情况下，这甚至会导致一个临界点，即在一定的索引规模下，稀疏表示的表现会优于稠密表示。我们表明这种行为与表示的维数密切相关：维数越低，产生假阳性的几率就越高，即返回不相关文档。