层次结构结构神经网络：大规模推荐系统的高效检索扩展
信息检索
2025-01-10 v3 人工智能
摘要
检索是推荐系统的初始阶段，负责从数百万候选物品中筛选出少量千个物品。基于嵌入的检索（EBR）是解决这一问题的典型选择，它通过深度神经网络处理庞大的物品语料库。EBR利用双塔或仿射网络学习用户和物品的表示，并采用近似最近邻（ANN）搜索高效检索相关物品。尽管在行业中广受欢迎，但EBR面临局限性。双塔架构依赖于单个点积相互作用，难以捕捉复杂数据分布，因为其在学习用户与物品之间复杂相互作用方面的能力有限。此外，ANN索引构建和用户、物品表示学习常常是分开的，导致在表示（例如持续的在线训练）和物品漂移（例如物品过期和新物品添加）下加剧不一致性。本文提出了层次结构结构神经网络（HSNN），一种用于检索任务的高效深度神经网络模型，以双塔常用的点积之外的复杂用户和物品相互作用进行学习，实现相对于语料库规模的亚线性计算成本。设计了模块神经网络（MoNN），以保持高表达性同时确保效率。一种混合MoNN作用于层次化物品索引，以实现广泛的计算共享，使其能够扩展到大规模语料库。MoNN和层次索引共同学习，以适应用户兴趣和物品分布中的分布漂移。HSNN在离线评估中相较于先前方法实现了显著的改进。
关键词
引用
@article{arxiv.2408.06653,
title = {Hierarchical Structured Neural Network: Efficient Retrieval Scaling for Large Scale Recommendation},
author = {Kaushik Rangadurai and Siyang Yuan and Minhui Huang and Yiqun Liu and Golnaz Ghasemiesfeh and Yunchen Pu and Haiyu Lu and Xingfeng He and Fangzhou Xu and Andrew Cui and Vidhoon Viswanathan and Lin Yang and Liang Wang and Jiyan Yang and Chonglin Sun},
journal= {arXiv preprint arXiv:2408.06653},
year = {2025}
}
备注
Resubmit