视频显著性检测中利用时空线索的无监督不确定性估计
计算机视觉与模式识别
2019-01-16 v1
摘要
本文致力于量化视频计算显著性的可靠性问题，该可靠性可用于改进基于显著性的视频处理，并实现对此类处理更可靠的性能与风险评估。我们的方法包含两方面。首先，我们探究显著性图与眼注视图中的空间相关性。然后，我们学习定义可靠显著性图的时空相关性。我们首先研究来自公开数据集的时空眼注视数据，并考察人类视觉注意中的一个共同特征，即像素与其直接邻域间显著性的相关性。基于该考察，我们进而开发了一种算法，通过将像素的显著性与邻域显著性相关联，估计反映我们对相应计算显著性图置信度的逐像素不确定性图。为估计此类不确定性，我们度量显著性图中某像素与其局部邻域的偏离程度。此外，我们提出一种系统流程，通过显式地将不确定性真值计算为给定显著性图与人类受试者眼注视的函数来评估估计性能。实验中，我们探索了时空视频信号中局部性与邻域的多种定义。另外，我们考察了所提算法参数与视频内容之间的关系。所提算法为无监督的，更适用于泛化至大多数自然视频。同时，它计算高效且可灵活定制以适应特定视频内容。使用三个公开视频数据集的实验表明，所提算法优于 SOTA 不确定性估计方法，准确率提升高达 63%，并具备使其在实际场景中更为有用的效率与灵活性。
引用
@article{arxiv.1901.01550,
title = {Unsupervised uncertainty estimation using spatiotemporal cues in video saliency detection},
author = {Tariq Alshawi and Zhiling Long and Ghassan AlRegib},
journal= {arXiv preprint arXiv:1901.01550},
year = {2019}
}