文本引导如何影响视觉注意力？数据库与模型
计算机视觉与模式识别
2024-04-15 v2
摘要
视觉注意力的分析与预测长期以来一直是计算机视觉和图像处理领域的关键任务。在实际应用中，图像通常伴随各种文本描述，然而，很少有研究探讨文本描述对视觉注意力的影响，更不用说开发考虑文本引导的视觉显著性预测模型了。本文从主观和客观两个角度对文本引导的图像显著性（TIS）进行了全面研究。具体而言，我们构建了一个名为SJTU-TIS的TIS数据库，包含1200个文本-图像对及相应的眼动追踪数据。基于建立的SJTU-TIS数据库，我们分析了各种文本描述对视觉注意力的影响。然后，为了促进考虑文本影响的显著性预测模型的发展，我们使用最先进的显著性模型为建立的SJTU-TIS数据库构建了一个基准。最后，考虑到文本描述对视觉注意力的影响，而大多数现有显著性模型忽略了这一影响，我们进一步提出了一种文本引导的显著性（TGSal）预测模型，该模型提取并整合图像特征和文本特征，以预测不同文本描述条件下的图像显著性。我们提出的模型在SJTU-TIS数据库和纯图像显著性数据库上，在各种评估指标上均显著优于最先进的显著性模型。SJTU-TIS数据库和所提出的TGSal模型的代码将在https://github.com/IntMeGroup/TGSal发布。
引用
@article{arxiv.2404.07537,
title = {How is Visual Attention Influenced by Text Guidance? Database and Model},
author = {Yinan Sun and Xiongkuo Min and Huiyu Duan and Guangtao Zhai},
journal= {arXiv preprint arXiv:2404.07537},
year = {2024}
}