基于搭配匹配与评论生成的联合可解释穿搭推荐
信息检索
2019-08-27 v3
摘要
以往多数穿搭推荐工作聚焦于设计视觉特征以增强推荐。现有工作忽视了时尚单品上的用户评论，而后者已被证明能有效生成解释并带来更好的推荐结果。我们提出一种新颖的神经网络框架——神经穿搭推荐（NOR），可同时提供穿搭推荐并生成摘要式评论。NOR 由两部分组成：搭配匹配与评论生成。对于搭配匹配，我们提出带互注意力机制的卷积神经网络以提取视觉特征，随后将视觉特征解码为用于匹配预测的评分。对于摘要式评论生成，我们提出带跨模态注意力机制的门控循环神经网络，将视觉特征转化为简洁句子。两部分基于多任务学习框架以端到端反向传播范式联合训练。在现有数据集与收集的真实世界数据集上开展的广泛实验表明，NOR 在穿搭推荐上相较 SOTA 基线取得显著提升。同时，我们生成的评论相较于人工撰写评论取得了令人印象深刻的 ROUGE 和 BLEU 分数。所生成评论可视为推荐结果的解释。我们发布数据集与代码以促进未来研究。
引用
@article{arxiv.1806.08977,
title = {Explainable Outfit Recommendation with Joint Outfit Matching and Comment Generation},
author = {Yujie Lin and Pengjie Ren and Zhumin Chen and Zhaochun Ren and Jun Ma and Maarten de Rijke},
journal= {arXiv preprint arXiv:1806.08977},
year = {2019}
}