基于 EfficientNet 与注意力机制的智能本地旅游图像描述
计算机视觉与模式识别
2021-05-26 v1 计算与语言
摘要
智能系统已被大规模开发以协助人类完成各类任务。由于数据湖的爆发，深度学习技术进一步推动了精准辅助系统的创建。智能系统的一项任务是传播用户所需信息。这在旅游行业对推广本地旅游目的地至关重要。在本研究中，我们设计了一个本地旅游专用图像描述模型，该模型后续将支持开发赋能 AI 的辅助系统以协助不同用户。该模型采用视觉注意力机制开发，并使用最先进的特征提取器架构 EfficientNet。研究收集了一个本地旅游数据集，并使用了两种不同类型的描述文本：字面描述图像的描述文本，以及代表人类看到图像时逻辑响应的描述文本。这样做是为了使描述模型在辅助系统中实现时更具人性化。我们使用 EfficientNet 架构（B0 和 B4）对比了两种不同模型与其他知名的 VGG16 和 InceptionV3。使用 EfficientNetB0 在训练集和验证集上获得的最佳 BLEU 分数分别为 73.39 和 24.51。所开发模型的描述结果显示，该模型能够为本地旅游相关图像生成符合逻辑的描述。
引用
@article{arxiv.2009.08899,
title = {Image Captioning with Attention for Smart Local Tourism using EfficientNet},
author = {Dhomas Hatta Fudholi and Yurio Windiatmoko and Nurdi Afrianto and Prastyo Eko Susanto and Magfirah Suyuti and Ahmad Fathan Hidayatullah and Ridho Rahmadi},
journal= {arXiv preprint arXiv:2009.08899},
year = {2021}
}
备注
10 pages, 7 figures, still in review at ICITDA Conference