具有时间引导的鲁棒高分辨率视频抠图
计算机视觉与模式识别
2021-08-27 v1
摘要
我们引入了一种鲁棒的、实时的、高分辨率的人体视频抠图方法，实现了新的最先进性能。我们的方法比以前的方法轻量得多，可以在 Nvidia GTX 1080Ti GPU 上以 76 FPS 处理 4K 图像，以 104 FPS 处理 HD 图像。与大多数将视频抠图作为独立图像逐帧执行的现有方法不同，我们的方法使用循环架构来利用视频中的时间信息，并在时间连贯性和抠图质量上取得了显著改善。此外，我们提出了一种新颖的训练策略，强制我们的网络同时满足抠图和分割目标。这显著提高了我们模型的鲁棒性。我们的方法不需要任何辅助输入，如 trimap 或预捕获的背景图像，因此可以广泛应用于现有的人体抠图应用。
引用
@article{arxiv.2108.11515,
title = {Robust High-Resolution Video Matting with Temporal Guidance},
author = {Shanchuan Lin and Linjie Yang and Imran Saleemi and Soumyadip Sengupta},
journal= {arXiv preprint arXiv:2108.11515},
year = {2021}
}