面向推荐的赫斯矩阵感知量化节点嵌入
信息检索
2023-09-06 v1
摘要
图神经网络（GNNs）在推荐系统中取得了最先进的性能。然而，从大规模物品语料库中进行搜索与排序通常需要较高的延迟，这限制了 GNNs 在工业级应用中的广泛部署。为解决该问题，许多方法将用户/物品表示压缩至二值嵌入空间，以降低空间需求并加速推理。同时，它们使用直通估计器（STE）来防止反向传播期间的梯度消失。然而，STE 常导致梯度失配问题，从而产生次优结果。在本工作中，我们提出赫斯矩阵感知量化 GNN（HQ-GNN）作为用户/物品离散表示的有效解决方案，可实现快速检索。HQ-GNN 由两个组件构成：用于学习连续节点嵌入的 GNN 编码器，以及将全精度嵌入压缩为低比特表示的量化模块。因此，与原始 GNNs 相比，HQ-GNN 兼具更低的内存需求与更快的推理速度。为缓解 STE 中的梯度失配问题，我们进一步考虑量化误差及其二阶导数以提升稳定性。在多个大规模数据集上的实验结果表明，HQ-GNN 在延迟与性能之间实现了良好平衡。
引用
@article{arxiv.2309.01032,
title = {Hessian-aware Quantized Node Embeddings for Recommendation},
author = {Huiyuan Chen and Kaixiong Zhou and Kwei-Herng Lai and Chin-Chia Michael Yeh and Yan Zheng and Xia Hu and Hao Yang},
journal= {arXiv preprint arXiv:2309.01032},
year = {2023}
}