个性化展示集：生成推荐的多模态解释

现有的解释模型仅为推荐生成文本，但仍难以产生多样化的内容。在本文中，为了进一步丰富解释，我们提出了一项名为个性化展示集（personalized showcases）的新任务，在该任务中我们同时提供文本与视觉信息来解释我们的推荐。具体而言，我们首先选择一个与用户对推荐物品的兴趣最相关的个性化图像集合。然后，根据我们选定的图像生成自然语言解释。针对这一新任务，我们从 Google Local（即地图）收集了一个大规模数据集，并构建了一个用于生成多模态解释的高质量子集。我们提出了一种个性化多模态框架，可通过对比学习生成多样化且与视觉对齐的解释。实验表明，我们的框架受益于不同模态作为输入，并且与先前方法相比，在多种评估指标上能够产生更多样化且更具表现力的解释。