基于图的 ANN 算法在稀疏数据上的实践：卡方双塔模型、HNSW、符号柯西投影
信息检索
2023-06-14 v1 机器学习
摘要
稀疏数据十分常见。传统的“手工设计”特征通常稀疏。训练模型得到的嵌入向量也可能非常稀疏，例如通过“ReLu”激活函数训练的嵌入。本文中，我们报告了使用基于图的 ANN 算法（如 HNSW，或其 GPU 版本 SONG）在稀疏数据中进行高效搜索的探索，这些算法在工业实践中很流行，例如搜索和广告（advertising）。我们在专有广告定向应用以及基准公开数据集上进行了实验。对于广告定向，我们使用标准的“余弦双塔”模型训练嵌入，并开发了“卡方双塔”模型。当这两个模型与“ReLu”激活函数结合时，都会产生（高度）稀疏的嵌入。在 EBR（基于嵌入的检索）应用中，嵌入训练完成后，下一个关键任务是为服务提供近似近邻（ANN）搜索。尽管可选择许多 ANN 算法，本研究聚焦于基于图的 ANN 算法（如 HNSW 类型）。稀疏嵌入应有助于提高 EBR 的效率。一个好处是降低了嵌入的内存成本。另一个明显的好处是减少了计算相似度的时间，因为对于 HNSW 等基于图的 ANN 算法，计算相似度通常是主导成本。除了利用数据稀疏性以降低存储和计算开销的努力外，我们还集成了“符号柯西随机投影”（SignCRP）将向量哈希为比特，以进一步降低内存成本并加速 ANN 搜索。在 NIPS'13 中，SignCRP 被提出用于哈希卡方相似度，这是一种在 NLP 和计算机视觉中广泛采用的非线性核。因此，卡方双塔模型、SignCRP 和 HNSW 现已紧密集成。
引用
@article{arxiv.2306.07607,
title = {Practice with Graph-based ANN Algorithms on Sparse Data: Chi-square Two-tower model, HNSW, Sign Cauchy Projections},
author = {Ping Li and Weijie Zhao and Chao Wang and Qi Xia and Alice Wu and Lijun Peng},
journal= {arXiv preprint arXiv:2306.07607},
year = {2023}
}