结合神经图像描述与 k 近邻方法的混合图像描述模型
计算机视觉与模式识别
2021-05-11 v1
摘要
提出了一种混合模型，该模型集成了两种流行的图像描述方法来生成描述图像内容的基于文本的摘要。这两种图像描述模型分别是神经图像描述（NIC）和 k 近邻方法。它们分别在训练集上单独训练。我们从验证集中提取一组五个特征，用于评估两个模型的结果，并进而用于训练一个逻辑回归分类器。比较两个模型的 BLEU-4 分数，以生成逻辑回归分类器的二值真实标签。对于测试集，输入图像首先分别通过两个模型以生成各自的描述。从两个模型提取的五维特征集被传入逻辑回归分类器，以决定生成的最终描述，即两个模型生成的描述中较好的一个。我们的 k 近邻模型实现在基准 Flickr8k 数据集上取得了 15.95 的 BLEU-4 分数，NIC 模型取得了 16.01 的 BLEU-4 分数。所提出的混合模型能够达到 18.20 的 BLEU-4 分数，证明了我们方法的有效性。
引用
@article{arxiv.2105.03826,
title = {A Hybrid Model for Combining Neural Image Caption and k-Nearest Neighbor Approach for Image Captioning},
author = {Kartik Arora and Ajul Raj and Arun Goel and Seba Susan},
journal= {arXiv preprint arXiv:2105.03826},
year = {2021}
}
备注
Included in Proceedings of 3rd ICSCSP 2020