360°显著目标检测中感知畸变的Transformer
计算机视觉与模式识别
2023-08-08 v1
摘要
随着 VR 与 AR 的出现，360°数据吸引了计算机视觉与多媒体界越来越多的关注。通常，360°数据被投影为 2D ERP（等距柱状投影）图像以进行特征提取。然而，现有方法无法处理投影所产生的畸变，阻碍了基于 360°数据任务的发展。因此，本文提出一种称为 DATFormer 的基于 Transformer 的模型来解决畸变问题。我们从两个角度处理该问题。首先，引入两个畸变自适应模块。其一是畸变映射模块，引导模型全局预适应畸变特征。其二是畸变自适应注意力块，在多尺度特征上减少局部畸变。其次，为利用 360°数据的独特特性，我们提出一种可学习关系矩阵，并将其作为位置嵌入的一部分以进一步提升性能。在三个公开数据集上进行了充分实验，结果表明我们的模型优于现有的 2D SOD（显著目标检测）与 360 SOD 方法。
引用
@article{arxiv.2308.03359,
title = {Distortion-aware Transformer in 360{\deg} Salient Object Detection},
author = {Yinjie Zhao and Lichen Zhao and Qian Yu and Jing Zhang and Lu Sheng and Dong Xu},
journal= {arXiv preprint arXiv:2308.03359},
year = {2023}
}
备注
10 pages, 5 figures