基于可学习赤道偏置的全向显著性图多尺度估计
计算机视觉与模式识别
2023-09-18 v1
摘要
全向图像已广泛应用于众多领域。对于这些应用,估计表示头戴式显示器注视点概率分布的显著性图以检测全向图像中的重要区域将十分有用。本文提出一种新颖的全向图像显著性图估计模型,通过从全向图像中按不同方向与视角提取重叠的二维(2D)平面图像来实现。虽然 2D 显著性图往往在图像中心具有较高概率(中心偏置),但在使用头戴式显示器时,全向显著性图中的高概率区域出现在水平方向(赤道偏置)。因此,通过将中心偏置层替换为依赖于所提取 2D 平面图像仰角的赤道偏置层,利用全向数据集对带有中心偏置层的 2D 显著性模型进行微调。显著性数据集中全向图像的有限可用性,可通过使用以大量带 2D 显著性图真值的训练图像预训练的成熟 2D 显著性模型来弥补。此外,本文提出一种多尺度估计方法,通过以多种视角提取 2D 图像,以可变感受野检测不同尺寸的物体。从多视角估计的显著性图通过使用在整合层中计算的像素级注意力权重进行整合,以对各物体加权最优尺度。所提方法使用公开数据集及全向显著性图评价指标进行了评估,证实了该方法提升了显著性图的精度。
引用
@article{arxiv.2309.08139,
title = {Multi-Scale Estimation for Omni-Directional Saliency Maps Using Learnable Equator Bias},
author = {Takao Yamanaka and Tatsuya Suzuki and Taiki Nobutsune and Chenjunlin Wu},
journal= {arXiv preprint arXiv:2309.08139},
year = {2023}
}
备注
Accepted for publication in IEICE Transactions on Information and Systems, Vol. E106-D, No. 10, 2023. https://www.jstage.jst.go.jp/browse/transinf The code is available at https://github.com/islab-sophia/odisal