基于互注意力与卷积类量子语言模型的产品评分预测
信息检索
2019-12-30 v1 计算与语言
摘要
推荐系统旨在帮助缓解用户在线购物时所经历的信息过载。近期研究探索利用神经语言模型从用户评论中学习用户与物品表示，并将此类表示与评分信息相结合。大多数现有的基于卷积的神经模型在卷积后立即进行池化，从而丢失了卷积特征向量潜在维度之间的交互信息。此外，这些模型通常将高层的所有特征向量视为同等重要，而未考虑到某些特征与该特定用户-物品上下文更为相关。为弥补这些不足，本文提出一种用于评分预测的带互注意力的卷积类量子语言模型（ConQAR）。通过引入类量子密度矩阵层，卷积特征向量潜在维度之间的交互得以良好捕获。借助从互注意力层学习到的注意力权重，用户与物品的最终表示吸收了来自自身及其对应方的双向信息以进行评分预测。在两个大型数据集上的实验表明，我们的模型优于多个最先进的基于CNN的模型。我们还进行了消融实验以分析模型两个组件的独立作用。此外，我们开展案例研究并对某一用户与某一物品评论文档中的量子概率分布进行可视化，表明所学分布捕获了关于该用户与物品的有意义信息，并可用作用户与物品的文本画像。
引用
@article{arxiv.1912.11720,
title = {Convolutional Quantum-Like Language Model with Mutual-Attention for Product Rating Prediction},
author = {Qing Ping and Chaomei Chen},
journal= {arXiv preprint arXiv:1912.11720},
year = {2019}
}
备注
Accepted at MAISON workshop at ICTIR 19'