用于单阶段高分辨率显著性检测的金字塔嫁接网络
计算机视觉与模式识别
2022-04-13 v2
摘要
近期基于深度神经网络的显著目标检测（SOD）方法取得了卓越性能。然而，大多数面向低分辨率输入设计的现有 SOD 模型在高分辨率图像上表现不佳，原因在于采样深度与感受野大小之间的矛盾。为解决该矛盾，我们提出一种称为金字塔嫁接网络（PGNet）的新型单阶段框架，利用 transformer 与 CNN 主干独立地从不同分辨率图像提取特征，再将 transformer 分支的特征嫁接至 CNN 分支。提出一种基于注意力的跨模型嫁接模块（CMGM），使 CNN 分支能在解码过程中在不同源特征引导下更整体地融合破碎的细节信息。此外，我们设计了一种注意力引导损失（AGL），显式监督 CMGM 生成的注意力矩阵，以帮助网络更好地与来自不同模型的注意力交互。我们贡献了一个新的超高分辨率显著性检测数据集 UHRSD，包含 5,920 张 4K-8K 分辨率图像。据我们所知，它是高分辨率 SOD 任务中在数量与分辨率上均为最大的数据集，可用于未来研究的训练与测试。在 UHRSD 与常用 SOD 数据集上的充分实验表明，我们的方法相比最先进方法取得了更优性能。
引用
@article{arxiv.2204.05041,
title = {Pyramid Grafting Network for One-Stage High Resolution Saliency Detection},
author = {Chenxi Xie and Changqun Xia and Mingcan Ma and Zhirui Zhao and Xiaowu Chen and Jia Li},
journal= {arXiv preprint arXiv:2204.05041},
year = {2022}
}
备注
Camera-Ready, CVPR 2022. Code: https://github.com/iCVTEAM/PGNet