GRIT：利用双视觉特征实现更快更好的图像描述Transformer
计算机视觉与模式识别
2022-07-21 v1 人工智能
计算与语言
摘要
当前最先进的图像描述方法采用基于区域的特征，因为它们提供描述图像内容所必需的对象级信息；它们通常由诸如Faster R-CNN的对象检测器提取。然而，它们存在若干问题，如缺乏上下文信息、检测不准确的风险以及高计算成本。前两个问题可通过额外使用基于网格的特征来解决。但是，如何提取和融合这两类特征尚属未知。本文提出一种仅含Transformer的神经架构，称为GRIT（基于网格与区域的图像描述Transformer），它有效利用两种视觉特征生成更好的描述。GRIT将先前方法中基于CNN的检测器替换为基于DETR的检测器，使其计算更快。此外，其仅由Transformer组成的整体设计实现了模型的端到端训练。这一创新设计及双视觉特征的集成带来了显著的性能提升。在多个图像描述基准上的实验结果表明，GRIT在推理准确率和速度上均优于先前方法。
引用
@article{arxiv.2207.09666,
title = {GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features},
author = {Van-Quang Nguyen and Masanori Suganuma and Takayuki Okatani},
journal= {arXiv preprint arXiv:2207.09666},
year = {2022}
}
备注
Accepted to ECCV 2022; 14 pages with appendix; Code: https://github.com/davidnvq/grit