实时高分辨率背景抠图
计算机视觉与模式识别
2020-12-15 v1
摘要
我们介绍了一种实时、高分辨率的背景替换技术，在现代 GPU 上以 4K 分辨率 30fps、HD 分辨率 60fps 运行。我们的技术基于背景抠图，即额外捕获一帧背景并用于恢复 alpha 遮罩和前景层。主要挑战是在实时处理高分辨率图像的同时，计算高质量 alpha 遮罩并保留发丝级头发细节。为实现这一目标，我们采用两个神经网络；一个基础网络计算低分辨率结果，由一个在高分辨率下对选择性图像块进行操作的第网络进行细化。我们引入了两个大规模视频和图像抠图数据集：VideoMatte240K 和 PhotoMatte13K/85。与先前背景抠图的最优方法相比，我们的方法在产生更高质量结果的同时，在速度和分辨率上均取得显著提升。
引用
@article{arxiv.2012.07810,
title = {Real-Time High-Resolution Background Matting},
author = {Shanchuan Lin and Andrey Ryabtsev and Soumyadip Sengupta and Brian Curless and Steve Seitz and Ira Kemelmacher-Shlizerman},
journal= {arXiv preprint arXiv:2012.07810},
year = {2020}
}