关注你：基于上下文序列记忆网络的个性化图像描述
计算机视觉与模式识别
2017-04-27 v2 计算与语言
摘要
我们解决图像描述中的个性化问题，这是以往研究尚未讨论的。对于查询图像，我们旨在生成描述性句子，同时考虑先验知识，例如用户在先前文档中的活跃词汇。作为个性化图像描述的应用，我们在新收集的 Instagram 数据集（包含来自 6.3K 用户的 1.1M 帖子）上处理两个帖子自动化任务：标签预测与帖子生成。我们提出一种名为上下文序列记忆网络（Context Sequence Memory Network, CSMN）的新型描述模型。相较于以往的记忆网络模型，其独特更新包括：(i) 利用记忆作为多种类型上下文信息的存储库；(ii) 将先前生成的单词追加到记忆中以捕获长期信息，同时避免梯度消失问题；(iii) 采用 CNN 记忆结构联合表示邻近有序记忆槽，以更好地理解上下文。通过量化评估和基于 Amazon Mechanical Turk 的用户研究，我们展示了 CSMN 的三个新特性之有效性，以及其在个性化图像描述上相对于最先进（state-of-the-art）描述模型的性能提升。
引用
@article{arxiv.1704.06485,
title = {Attend to You: Personalized Image Captioning with Context Sequence Memory Networks},
author = {Cesc Chunseong Park and Byeongchang Kim and Gunhee Kim},
journal= {arXiv preprint arXiv:1704.06485},
year = {2017}
}
备注
Accepted paper at CVPR 2017