在伪造运动数据集上训练的时间连贯人物抠图
计算机视觉与模式识别
2021-09-13 v1
摘要
我们提出了一种新颖的基于神经网络的方法，用于对描绘人的视频进行抠图，且不需要诸如 trimaps 等额外的用户输入。我们的架构通过对图像分割算法的输出进行基于运动估计的平滑处理，并结合 U-Net 跳跃连接上的卷积 LSTM 模块，实现了所得 alpha matte 的时间稳定性。我们还提出了一种伪造运动算法，该算法在给定具有真实 alpha matte 的照片和背景视频的情况下，为视频抠图网络生成训练片段。我们对照片及其 matte 施加随机运动，以模拟在真实视频中会出现的运动，并将结果与背景片段合成。这使我们能够在缺乏大型标注视频数据集的情况下训练处理视频的深度神经网络，并为损失函数中使用的训练片段前景真实光流提供支持。
引用
@article{arxiv.2109.04843,
title = {Temporally Coherent Person Matting Trained on Fake-Motion Dataset},
author = {Ivan Molodetskikh and Mikhail Erofeev and Andrey Moskalenko and Dmitry Vatolin},
journal= {arXiv preprint arXiv:2109.04843},
year = {2021}
}
备注
13 pages, 5 figures