AIC-AB NET：一种融合空间注意力与文本属性的图像描述神经网络
计算机视觉与模式识别
2023-07-17 v1 人工智能
机器学习
摘要
图像描述横跨计算机视觉与自然语言处理的重要领域。我们提出并展示了 AIC-AB NET，一种新颖的融合属性信息的基于注意力的网络（Attribute-Information-Combined Attention-Based Network），其在编码器-解码器中结合了空间注意力架构与文本属性。对于描述生成，自适应空间注意力决定哪个图像区域最能代表图像，以及是否关注视觉特征或视觉哨兵。文本属性信息被同步送入解码器，以辅助图像识别并降低不确定性。我们已在 MS COCO 数据集和一个新提出的 Fashion 数据集上测试并评估了我们的 AICAB NET。Fashion 数据集用作单目标图像的基准。结果表明，所提模型相较于最先进的基线和消融模型，在来自 MSCOCO 的图像及我们的单目标图像上均具有更优性能。我们的 AIC-AB NET 在 MS COCO 数据集上以 0.017（CIDEr 分数）、在 Fashion 数据集上以 0.095（CIDEr 分数）优于基线自适应注意力网络。
引用
@article{arxiv.2307.07370,
title = {AIC-AB NET: A Neural Network for Image Captioning with Spatial Attention and Text Attributes},
author = {Guoyun Tu and Ying Liu and Vladimir Vlassov},
journal= {arXiv preprint arXiv:2307.07370},
year = {2023}
}