色彩感知的深度时序双背景抠像系统
计算机视觉与模式识别
2023-06-06 v1
摘要
近年来，基于深度学习的 alpha 抠像取得了巨大进展，然而电影制作工作室仍依赖经典色度键控及昂贵后期步骤。这一明显落差可归因于制作中一些必要但当前 alpha 抠像领域未充分解决的环节，特别是前景颜色估计与色彩溢出补偿。我们提出一种基于神经网络、结合色度键控与 alpha 抠像优点的时序多背景制作系统。给定两帧连续且背景色不同的帧，我们的单编码器-双解码器网络采用基于块的重叠融合方法预测前景颜色与 alpha 值。该系统能处理不精确背景、动态相机与动态前景，且对前景颜色无限制。我们在基准数据集与演示装置拍摄的视频序列上将方法与 SOTA 算法比较，验证了双背景输入优于通常使用的 trimap 方法。此外，所提摄影棚装置对演员友好，并能产生高质量、时序一致的 alpha 与颜色估计，包含更优的色彩溢出补偿。
引用
@article{arxiv.2306.02954,
title = {Color-aware Deep Temporal Backdrop Duplex Matting System},
author = {Hendrik Hachmann and Bodo Rosenhahn},
journal= {arXiv preprint arXiv:2306.02954},
year = {2023}
}