基于帧差的时间损失用于视频风格化
计算机视觉与模式识别
2021-02-12 v1
摘要
神经风格迁移模型已被用于将普通视频风格化为特定风格。为确保风格化视频各帧之间的时间一致性（注：原文为 inconsistency，按上下文及常用表述应为一致性需求，此处忠实保留原词意为“不一致”问题，即解决时间不一致问题），常见方法是估计原始视频中像素的光流，并使生成的像素匹配所估计的光流。这通过在模型训练期间最小化基于光流（OFB）的损失来实现。然而，光流估计本身是一项具有挑战性的任务，尤其在复杂场景中。此外，它带来了较高的计算成本。我们提出了一种简单得多的时间损失，称为基于帧差（FDB）的损失，以解决时间不一致问题。它被定义为风格化帧之差与原始帧之差之间的距离。两帧之间的差异在像素空间和由卷积神经网络指定的特征空间中均进行了度量。一组涉及 62 名受试者、共 25,600 次投票的人类行为实验表明，所提出的 FDB 损失的性能与 OFB 损失相当。性能是通过在两个典型视频风格化模型上对所生成视频的稳定性和风格化质量进行主观评估来衡量的。结果表明，所提出的 FDB 损失是视频风格化中常用 OFB 损失的有力替代方案。
引用
@article{arxiv.2102.05822,
title = {Frame Difference-Based Temporal Loss for Video Stylization},
author = {Jianjin Xu and Zheyang Xiong and Xiaolin Hu},
journal= {arXiv preprint arXiv:2102.05822},
year = {2021}
}