面向视觉特效的无训练神经网络抠像提取
计算机视觉与模式识别
2023-07-03 v1
摘要
Alpha抠像（Alpha matting）广泛应用于视频会议以及电影、电视和社交媒体网站中。基于深度学习的方法非常适合于视频会议中的抠像提取问题，因为其主体内容一致（正面人脸），然而对于娱乐视频而言，基于训练的方法颇无意义，因为多样化主体（宇宙飞船、怪物等）可能仅在一部电影中出现几次——如果存在用于创建训练真值的方法，直接使用该方法生成所需抠像即可。我们引入了一种无训练的高质量神经抠像提取方法，专门针对视觉特效制作的假设。我们的方法基于深度图像先验（deep image prior），其优化深度神经网络以拟合单幅图像，从而提供该特定图像的深度编码。我们利用倒数第二层中的表示来插值粗糙且不完整的“三元图（trimap）”约束。用此方法处理的视频具有时间一致性。该算法非常简单且出奇有效。
引用
@article{arxiv.2306.17321,
title = {Training-Free Neural Matte Extraction for Visual Effects},
author = {Sharif Elcott and J. P. Lewis and Nori Kanazawa and Christoph Bregler},
journal= {arXiv preprint arXiv:2306.17321},
year = {2023}
}