基于生成对抗模仿学习的全景图像显著性预测
计算机视觉与模式识别
2019-04-16 v1 多媒体
摘要
在观看全景图像（ODIs）时，受试者可通过转动头部访问不同视口。因此，有必要预测受试者头部在全景图像上的注视点。受生成对抗模仿学习（GAIL）启发，本文提出一种预测全景图像头部注视点显著性的新方法，称为 SalGAIL。首先，我们建立了一个全景图像注意力（AOI）数据集。与传统数据集相比，我们的 AOI 数据集为大规模数据集，包含 30 名受试者观看 600 张全景图像的头部注视点。接下来，我们挖掘 AOI 数据集并得到三点发现：（1）受试者间头部注视点具有一致性，且随受试者数量增加而增强；（2）头部注视点存在前中心偏置（FCB）；（3）受试者间头部运动幅度相近。基于这些发现，我们的 SalGAIL 方法应用深度强化学习（DRL）预测单名受试者的头部注视点，其中 GAIL 学习 DRL 的奖励，而非传统的人为设计奖励。随后，我们开发了多流 DRL 以生成不同受试者的头部注视点，并通过卷积预测的头部注视点生成全景图像的显著性图。最后，实验验证了我们的方法在预测全景图像显著性图上的有效性，显著优于 10 种当前最优方法。
引用
@article{arxiv.1904.07080,
title = {Saliency Prediction on Omnidirectional Images with Generative Adversarial Imitation Learning},
author = {Mai Xu and Li Yang and Xiaoming Tao and Yiping Duan and Zulin Wang},
journal= {arXiv preprint arXiv:1904.07080},
year = {2019}
}