FactorMatte：为重组任务重新定义视频抠像
计算机视觉与模式识别
2022-11-07 v1
摘要
我们提出“因子抠像”（factor matting），一种以反事实视频合成表述视频抠像问题的替代形式，更适用于重组任务。因子抠像的目标是将视频内容分离为独立分量，每个分量可视化该场景的一个反事实版本，其中其他分量的内容已被移除。我们表明因子抠像能很好地映射到一种更通用的抠像问题的贝叶斯框架，该框架考虑了层之间复杂的条件交互。基于这一观察，我们提出一种求解因子抠像问题的方法，即便对于具有飞溅、阴影和反射等复杂跨层交互的视频也能产生有用的分解。我们的方法按视频训练，既不需要在外部大型数据集上预训练，也不需要关于场景三维结构的知识。我们进行了大量实验，表明我们的方法不仅能解耦具有复杂交互的场景，还在现有任务（如经典视频抠像与背景减除）上优于顶尖方法。此外，我们在一系列下游任务上展示了本方法的优势。更多细节请参考我们的项目网页：https://factormatte.github.io
引用
@article{arxiv.2211.02145,
title = {FactorMatte: Redefining Video Matting for Re-Composition Tasks},
author = {Zeqi Gu and Wenqi Xian and Noah Snavely and Abe Davis},
journal= {arXiv preprint arXiv:2211.02145},
year = {2022}
}
备注
Project webpage: https://factormatte.github.io