MRGAN360：用于360度图像显著性预测的多阶段循环生成对抗网络
计算机视觉与模式识别
2023-03-16 v1 图像与视频处理
摘要
凭借提供沉浸式交互体验的能力，360度图像内容在消费与工业应用中的采用迅速增长。与平面2D图像相比，360度图像的显著性预测因其高分辨率和球面视域而更具挑战性。当前，多数高性能全向图像(ODI)显著性预测模型依赖更深或更宽的卷积神经网络(CNN)，虽受益于CNN优越的特征表示能力，却受困于高计算成本。本文受人类视觉认知过程（即对视觉场景的感知总由多阶段分析完成）启发，提出一种新颖的用于ODI的多阶段循环生成对抗网络MRGAN360，以逐阶段预测显著性图。每一阶段，预测模型以原始图像和前一阶段输出为输入，输出更精确的显著性图。我们在相邻预测阶段间采用循环神经网络建模其关联，并在每阶段末端使用判别器监督输出的显著性图。此外，我们在所有阶段间共享权重，以获得计算代价低的小型化结构。大量实验证明，所提模型在预测精度与模型规模上均优于最先进模型。
引用
@article{arxiv.2303.08525,
title = {MRGAN360: Multi-stage Recurrent Generative Adversarial Network for 360 Degree Image Saliency Prediction},
author = {Pan Gao and Xinlang Chen and Rong Quan and Wei Xiang},
journal= {arXiv preprint arXiv:2303.08525},
year = {2023}
}