SaltiNet：利用显著性体在 360 度图像上的扫描路径预测
计算机视觉与模式识别
2017-08-18 v5 多媒体
摘要
我们介绍了 SaltiNet，一个在 360 度图像上训练的用于扫描路径预测的深层神经网络。该模型基于一种称为显著性体 (saliency volume) 的时间感知新颖显著性信息表示。网络的第一部分由一个训练用于生成显著性体的模型组成，其参数通过基于显著性体下采样版本的二元交叉熵 (BCE) 损失计算的反向传播来拟合。在这些体上的采样策略被用于生成 360 度图像上的扫描路径。我们的实验展示了使用显著性体的优势，以及它们如何用于相关任务。我们的源代码和训练好的模型可在 https://github.com/massens/saliency-360salient-2017 获取。
引用
@article{arxiv.1707.03123,
title = {SaltiNet: Scan-path Prediction on 360 Degree Images using Saliency Volumes},
author = {Marc Assens and Kevin McGuinness and Xavier Giro-i-Nieto and Noel E. O'Connor},
journal= {arXiv preprint arXiv:1707.03123},
year = {2017}
}
备注
Winner of the Best Scan-path Award at the Salient360!: Visual attention modeling for 360 degrees Images Grand Challenge of ICME 2017. Presented at the ICCV 2017 Workshop on Egocentric Perception, Interaction and Computing (EPIC)