基于对抗网络的时间相干视频调和
计算机视觉与模式识别
2018-09-06 v1
摘要
合成是图像和视频最重要的编辑操作之一。提升合成结果真实感的过程常被称为调和。以往的调和方法主要集中于图像。本文进一步研究视频调和问题。具体而言，我们以对抗方式训练卷积神经网络，利用逐像素不和谐判别器获得更真实的调和结果，并引入时间损失以增强连续调和帧间的时间一致性。得益于逐像素不和谐判别器，我们还能减少对输入前景掩码的需求。由于现有具备真值前景掩码与光流的视频数据集规模不足，我们提出一种简单而高效的方法来构建支持所提对抗网络监督训练的的合成数据集。实验表明，在我们的合成数据集上训练可很好地泛化至真实世界合成数据集。同时，我们的方法在训练中成功纳入时间一致性，并取得比以往方法更和谐的結果。
引用
@article{arxiv.1809.01372,
title = {Temporally Coherent Video Harmonization Using Adversarial Networks},
author = {Haozhi Huang and Senzhe Xu and Junxiong Cai and Wei Liu and Shimin Hu},
journal= {arXiv preprint arXiv:1809.01372},
year = {2018}
}