面向 360°全景图像的视角感知显著目标检测
计算机视觉与模式识别
2022-09-28 v1
摘要
360°场景下面向图像的显著目标检测（ISOD）对于全景信息的理解与应用具有重要意义。然而，由于缺少大规模、复杂、高分辨率且标注良好的数据集，360° ISOD 的研究尚未被广泛探索。为此，我们构建了一个在等距柱状投影（ERP）上具有目标级像素级标注的大规模 360° ISOD 数据集，其包含丰富的全景场景且分辨率不低于 2K，据我们所知是迄今最大的 360° ISOD 数据集。通过观察数据，我们发现现有方法在全景场景中面临三个显著挑战：多样的畸变程度、不连续的边缘效应以及可变的目标尺度。受人类观察过程启发，我们提出了一种基于样本自适应视角变换器（SAVT）模块的视角感知显著目标检测方法，该模块包含两个子模块以缓解上述问题。具体而言，子模块视角变换器（VT）包含基于不同变换的三种变换分支，以学习不同视角下的多种特征，并增强模型对畸变、边缘效应和目标尺度的特征容忍度。此外，子模块样本自适应融合（SAF）用于基于不同样本特征调整各变换分支的权重，并使变换增强特征融合得更为恰当。20 种最先进 ISOD 方法的基准结果表明所构建的数据集极具挑战性。此外，详尽实验验证了所提方法的实用性并优于最先进的方法。
引用
@article{arxiv.2209.13222,
title = {View-aware Salient Object Detection for 360{\deg} Omnidirectional Image},
author = {Junjie Wu and Changqun Xia and Tianshu Yu and Jia Li},
journal= {arXiv preprint arXiv:2209.13222},
year = {2022}
}
备注
This paper has been accepted by IEEE Transactions on Multimedia