基于U型结构网络的半监督跨模态显著性目标检测
计算机视觉与模式识别
2022-08-10 v1
摘要
显著性目标检测（SOD）是一个热门且重要的研究方向，旨在精确检测并分割图像中的感兴趣区域。我们将语言信息整合到专为显著性目标检测任务设计的基于视觉的U型结构网络中。实验基于新构建的DUTS跨模态（DUTS-CM）数据集，该数据集同时包含视觉与语言标签。我们提出了一种称为高效跨模态自注意力（eCMSA）的新模块，用于融合视觉与语言特征，并提升原始U型结构网络的性能。同时，为减轻标注的沉重负担，我们采用半监督学习方法，基于DUTS-CM数据集训练一个图像描述模型，该模型可自动为DUT-OMRON和HKU-IS等其他数据集标注。综合实验表明，引入自然语言输入可提升SOD性能，且与其他SOD方法相比具有竞争力。
引用
@article{arxiv.2208.04361,
title = {Semi-Supervised Cross-Modal Salient Object Detection with U-Structure Networks},
author = {Yunqing Bao and Hang Dai and Abdulmotaleb Elsaddik},
journal= {arXiv preprint arXiv:2208.04361},
year = {2022}
}