中文

基于实时用户点击与不确定性估计的改进图像抠图

计算机视觉与模式识别 2021-03-09 v2

摘要

图像抠图是计算机视觉与图形学中的基础且具有挑战性的问题。大多数现有抠图方法利用用户提供的三元图作为辅助输入以产生良好的 alpha 抠图。然而,获取高质量三元图本身十分费力,从而限制了这些方法的应用。近年来出现了一些无三元图方法,但其抠图质量仍远落后于基于三元图的方法。主要原因是在某些情况下缺乏三元图引导时,目标网络对于哪一个是前景目标存在歧义。事实上,选择前景是一个主观过程,取决于用户意图。为此,本文提出一种改进的深度图像抠图框架,该框架无需三元图,仅需少量用户点击交互即可消除歧义。此外,我们引入了一个新的不确定性估计模块,可预测哪些部分需要润色,以及随后的局部精修模块。基于计算预算,用户可选择在不确定性引导下改进多少个局部区域。定量与定性结果表明,我们的方法以极少的用户操作为代价,性能优于现有无三元图方法,并与最先进的基于三元图方法相当。

关键词

引用

@article{arxiv.2012.08323,
  title  = {Improved Image Matting via Real-time User Clicks and Uncertainty Estimation},
  author = {Tianyi Wei and Dongdong Chen and Wenbo Zhou and Jing Liao and Hanqing Zhao and Weiming Zhang and Nenghai Yu},
  journal= {arXiv preprint arXiv:2012.08323},
  year   = {2021}
}

备注

Accepted by IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2021