基于神经网络度量的非对称哈希快速排序方法
信息检索
2022-11-02 v1
摘要
快速物品排序是推荐系统中的一项重要任务。在先前工作中,基于图的近似最近邻(ANN)方法在采用通用搜索/匹配度量(包括神经网络度量等复杂度量)的物品排序任务上展现了良好性能。然而,由于这些ANN方法在排序过程中必须多次调用神经度量,若神经度量为大型网络则计算并不实用。另一方面,使用现有基于哈希的方法(如局部敏感哈希(LSH))的快速物品排序仅适用于有限种类的度量。已有的学习哈希方法也不适合解决快速物品排序问题,因为它们训练哈希函数可能耗费大量时间与计算。但哈希方法颇具吸引力,因其提供了一种检索候选物品的原则性且高效的方式。本文提出一种简单有效的学习哈希方法用于快速物品排序问题,可适用于任意类型的度量,包括神经网络度量。具体而言,我们采用基于离散内积拟合的非对称哈希框架来解决该问题。我们学习一对相关的哈希函数,将异质对象(如用户与物品)映射到公共离散空间,其二进制编码的内积可揭示由原始搜索度量定义的真实相似度。该快速排序问题由此归约为经由该非对称哈希方案的ANN搜索。接着,我们提出一种采样策略以高效选取相关且对比性的样本来训练哈希模型。我们在若干非线性搜索函数与知名数据集的组合下,针对现有最优快速物品排序方法对 proposed 方法进行了实证验证。
引用
@article{arxiv.2211.00619,
title = {Asymmetric Hashing for Fast Ranking via Neural Network Measures},
author = {Khoa Doan and Shulong Tan and Weijie Zhao and Ping Li},
journal= {arXiv preprint arXiv:2211.00619},
year = {2022}
}