用于360°视频弱监督显著性预测的立方体填充方法
计算机视觉与模式识别
2018-06-06 v1
摘要
360°视频中的自动显著性预测对于视点引导应用（如Facebook 360 Guide）至关重要。我们提出了一种时空网络，其（1）采用弱监督训练，（2）专为360°视球定制。值得注意的是，大多数现有方法可扩展性较差，因为它们依赖标注的显著性图进行训练。最重要的是，它们将360°球面转换为2D图像（例如单张等距柱状投影图像或多张独立的法视场（NFoV）图像），这会引入畸变和图像边界。相反，我们提出了一种简单有效的立方体填充（CP）技术，具体如下。首先，我们使用透视投影将360°视图渲染到立方体的六个面上。因此，它引入的畸变非常小。然后，我们利用立方体上面与面之间的连通性，在卷积、池化、卷积LSTM层中进行图像填充（即立方体填充），将所有六个面拼接起来。通过这种方式，CP不引入任何图像边界，同时几乎适用于所有卷积神经网络（CNN）结构。为评估我们的方法，我们提出了Wild-360，一个新的360°视频显著性数据集，包含具有显著性热图标注的挑战性视频。在实验中，我们的方法在速度和质量上均优于基线方法。
引用
@article{arxiv.1806.01320,
title = {Cube Padding for Weakly-Supervised Saliency Prediction in 360{\deg} Videos},
author = {Hsien-Tzu Cheng and Chun-Hung Chao and Jin-Dong Dong and Hao-Kai Wen and Tyng-Luh Liu and Min Sun},
journal= {arXiv preprint arXiv:1806.01320},
year = {2018}
}
备注
CVPR 2018