基于自注意力与对比特征的环境感知组图像描述生成
计算机视觉与模式识别
2020-04-09 v1
摘要
尽管图像描述生成已取得快速进展，现有工作主要聚焦于描述单张图像。本文中，我们引入一项新任务，环境感知组图像描述生成，旨在以另一组相关参考图像为背景来描述一组目标图像。环境感知组图像描述生成不仅需要总结目标与参考图像组的信息，还需对二者进行对比。为解决该问题，我们提出一种结合自注意力机制与对比特征构建的框架，以有效总结各图像组的共性信息同时捕捉组间判别信息。为构建该任务的数据集，我们提出基于场景图匹配对图像分组并根据单图像描述生成组描述。我们的数据集构建于公开Conceptual Captions数据集与我们的新Stock Captions数据集之上。在两个数据集上的实验显示了我们的方法在该新任务上的有效性。相关数据集与代码发布于 https://lizw14.github.io/project/groupcap。
引用
@article{arxiv.2004.03708,
title = {Context-Aware Group Captioning via Self-Attention and Contrastive Features},
author = {Zhuowan Li and Quan Tran and Long Mai and Zhe Lin and Alan Yuille},
journal= {arXiv preprint arXiv:2004.03708},
year = {2020}
}
备注
To appear in CVPR 2020; Project page: https://lizw14.github.io/project/groupcap