基于时空乘性残差哈希的神经视频分解
计算机视觉与模式识别
2023-09-26 v1
摘要
我们提出了一种视频分解方法，支持对具有时空变化光照与运动效果的视频进行基于图层的编辑。我们的神经模型将输入视频分解为多个图层表示，每个图层包含一张 2D 纹理图、原始视频的掩码，以及刻画光照条件时空变化的乘性残差。对纹理图的单次编辑可传播至整个视频帧中的对应位置，同时保持其他内容的一致性。我们的方法通过坐标哈希高效学习 1080p 视频的基于图层的神经表示，每帧耗时 25 秒，并可在单块 GPU 上以 71 fps 实时渲染编辑结果。在定性上，我们在多种视频上运行该方法以展示其生成高质量编辑效果的能力。在定量上，我们提议采用特征追踪评估指标来客观评价视频编辑的一致性。项目主页：https://lightbulb12294.github.io/hashing-nvd/
引用
@article{arxiv.2309.14022,
title = {Hashing Neural Video Decomposition with Multiplicative Residuals in Space-Time},
author = {Cheng-Hung Chan and Cheng-Yang Yuan and Cheng Sun and Hwann-Tzong Chen},
journal= {arXiv preprint arXiv:2309.14022},
year = {2023}
}