基于CNN-Transformer编码器-解码器网络的孟加拉语图像描述生成
计算机视觉与模式识别
2021-10-26 v1 人工智能
摘要
自动图像描述是持续努力创建语法正确且验证图像文本描述准确性的自然语言上下文的过程。现有孟加拉语图像描述（BIC）研究中使用的编码器-解码器结构将抽象图像特征向量作为编码器的输入。我们提出了一种新颖的基于Transformer的架构，带有注意力机制，并使用预训练的ResNet-101模型作为图像编码器进行特征提取。实验表明，我们技术中的语言解码器捕获了描述中的细粒度信息，然后与图像特征配对，在BanglaLekhaImageCaptions数据集上生成了准确且多样的描述。我们的方法超越了所有现有的孟加拉语图像描述工作，并在BLEU-1上达到0.694，BLEU-2上达到0.630，BLEU-3上达到0.582，METEOR上达到0.337，树立了新的基准。
引用
@article{arxiv.2110.12442,
title = {Bangla Image Caption Generation through CNN-Transformer based Encoder-Decoder Network},
author = {Md Aminul Haque Palash and MD Abdullah Al Nasim and Sourav Saha and Faria Afrin and Raisa Mallik and Sathishkumar Samiappan},
journal= {arXiv preprint arXiv:2110.12442},
year = {2021}
}
备注
15 pages, 6 figures, 1 table, 6 equations