用于 RGB-T 显著目标检测的交互式上下文感知网络
计算机视觉与模式识别
2022-11-14 v1 人工智能
摘要
显著目标检测（SOD）致力于区分场景中最显著的对象。然而，大多数相关工作基于 RGB 图像，丢失了大量有用信息。相应地，随着热成像技术的成熟，RGB-T（RGB-热红外）多模态任务受到越来越多关注。热红外图像携带可用于提高 SOD 预测精度的重要信息。为此，融合多模态信息并抑制噪声的方法至关重要。本文中，我们提出一种称为交互式上下文感知网络（ICANet）的新网络。它包含三个可有效执行跨模态与跨尺度融合的模块。我们设计了混合特征融合（HFF）模块以整合两模态特征，其利用两类特征提取。多尺度注意力增强（MSAR）与上融合（UF）模块负责跨尺度融合，汇聚不同层级特征并生成预测图。我们还提出一种新颖的上下文感知多监督网络（CAMSNet）来计算预测与真值（GT）之间的内容损失。实验证明，我们的网络优于当前最先进的 RGB-T SOD 方法。
引用
@article{arxiv.2211.06097,
title = {Interactive Context-Aware Network for RGB-T Salient Object Detection},
author = {Yuxuan Wang and Feng Dong and Jinchao Zhu},
journal= {arXiv preprint arXiv:2211.06097},
year = {2022}
}
备注
17 pages, 7 figures