相干损失:一种用于稳定视频分割的通用框架
计算机视觉与模式识别
2020-10-27 v1
摘要
视频分割方法对众多视觉任务至关重要,尤其在娱乐领域的视频处理中。由于获取高质量逐帧分割标注以及具有不同环境的大规模视频数据集存在挑战,学习方法在测试数据集上展现出总体更高的准确率,但在大多数实际应用中缺乏严格的时间约束以自我纠正抖动伪影。我们研究了这种抖动伪影如何降低视频分割结果的视觉质量,并提出了一种时间稳定性度量来对其数值评估。特别地,我们提出了一种具有通用框架的相干损失,以增强神经网络对抗抖动伪影的性能,其兼具高准确率与高一致性。借助我们的方法,现有的视频对象/语义分割方法在视频人体数据集(我们为该领域的进一步研究提供此数据集)以及 DAVIS 和 Cityscape 上,就更令人满意的视觉质量而言取得了显著改进。
引用
@article{arxiv.2010.13085,
title = {Coherent Loss: A Generic Framework for Stable Video Segmentation},
author = {Mingyang Qian and Yi Fu and Xiao Tan and Yingying Li and Jinqing Qi and Huchuan Lu and Shilei Wen and Errui Ding},
journal= {arXiv preprint arXiv:2010.13085},
year = {2020}
}
备注
10 pages, 6 figures, 4 tables