SalyPath360：面向全景图像的显著性及扫描路径预测框架
计算机视觉与模式识别
2022-01-04 v1
摘要
本文介绍了一种预测全景图像视觉注意力的新框架。我们架构的关键设置是对给定刺激同时预测显著性图和相应的扫描路径。该框架实现了一种完全编码器-解码器卷积神经网络，并通过注意力模块增强以生成具有代表性的显著性图。此外，采用一个辅助网络通过 SoftArgMax 函数生成可能的视口中心注视点。后者允许从特征图推导注视点。为利用扫描路径预测，随后应用一种自适应联合概率分布模型，通过结合基于编码器-解码器的显著性图与基于扫描路径的显著性热力图来构建最终的无偏显著性图。所提框架在显著性及扫描路径预测方面进行了评估，并与 Salient360! 数据集上最先进的方法进行比较。结果表明了我们框架的相关性以及此类架构对进一步全景视觉注意力预测任务的益处。
引用
@article{arxiv.2201.00096,
title = {SalyPath360: Saliency and Scanpath Prediction Framework for Omnidirectional Images},
author = {Mohamed Amine Kerkouri and Marouane Tliba and Aladine Chetouani and Mohamed Sayeh},
journal= {arXiv preprint arXiv:2201.00096},
year = {2022}
}
备注
Accepted at Electornic Imaging Sympotium 2022