POBEVM：通过逐步优化目标主体与边缘实现实时视频抠图
计算机视觉与模式识别
2024-02-16 v1 信息检索
摘要
基于深度卷积神经网络（CNN）的方法在视频抠图领域已取得卓越性能。其中许多方法能够为目标主体生成准确的 alpha 估计，但通常会产生模糊或不正确的目标边缘。这通常由以下原因导致：1) 现有方法总是无差别地对待目标主体和边缘；2) 目标主体占据整个目标的绝大部分，而目标边缘仅占极小比例。针对第一个问题，我们提出了一种基于 CNN 的模块，分别优化抠图目标的主体和边缘（SOBE）。在此基础上，我们引入了一种通过逐步优化抠图目标主体和边缘的实时、无需三角图的视频抠图方法（POBEVM），该方法比 prior 方法更轻量，并在预测的目标边缘方面取得了显著改进。针对第二个问题，我们提出了一种 Edge-L1-Loss (ELL) 函数，以强化网络对抠图目标边缘的关注。实验表明，我们的方法在 Distinctions-646 (D646) 和 VideoMatte240K (VM) 数据集上均优于先前的无需三角图抠图方法，尤其是在边缘优化方面。
引用
@article{arxiv.2402.09731,
title = {POBEVM: Real-time Video Matting via Progressively Optimize the Target Body and Edge},
author = {Jianming Xian},
journal= {arXiv preprint arXiv:2402.09731},
year = {2024}
}