展示、回忆与叙述：具有回忆机制的图像描述生成
计算机视觉与模式识别
2021-03-15 v3 计算与语言
机器学习
摘要
在图像描述生成中生成自然且准确的描述一直是一项挑战。在本文中，我们提出一种新颖的回忆机制以模仿人类进行描述的方式。我们的回忆机制包含三部分：回忆单元、语义引导（SG）和回忆词槽（RWS）。回忆单元是一个文本检索模块，旨在为图像检索回忆词。SG 和 RWS 旨在最佳利用回忆词。SG 分支可生成回忆上下文，用以引导描述生成过程。RWS 分支负责将回忆词复制到描述中。受文本摘要中指向机制的启发，我们采用软开关来平衡 SG 与 RWS 之间的生成词概率。在 CIDEr 优化步骤中，我们还引入了单独的回忆词奖励（WR）以促进训练。我们提出的方法（SG+RWS+WR）在 MSCOCO Karpathy 测试集上以交叉熵损失取得 BLEU-4 / CIDEr / SPICE 分数 36.6 / 116.9 / 21.3，以 CIDEr 优化取得 38.7 / 129.1 / 22.4，超越了其他 SOTA 方法的结果。
引用
@article{arxiv.2001.05876,
title = {Show, Recall, and Tell: Image Captioning with Recall Mechanism},
author = {Li Wang and Zechen Bai and Yonghua Zhang and Hongtao Lu},
journal= {arXiv preprint arXiv:2001.05876},
year = {2021}
}
备注
Published in AAAI 2020