用于高分辨率人体视频合成的本征时间正则化

时间一致性对于将图像处理流程扩展到视频领域至关重要，通常通过对相邻帧基于光流的扭曲误差来强制实现。然而对于人体视频合成，由于源视频与目标视频之间的错位以及精确光流估计的困难，此类方案可靠性较低。本文提出一种有效的本征时间正则化方案来缓解这些问题，其中通过帧生成器估计本征置信度图，以通过时间损失调制来调节运动估计。这为将时间损失梯度直接反向传播到前端运动估计器创建了捷径，从而改善了训练稳定性和输出视频的时间连贯性。我们将本征时间正则化应用于单图像生成器，得到了强大的“INTERnet”，能够生成具有时间连贯、逼真视觉细节的$512\times512$分辨率人体动作视频。大量实验证明了所提INTERnet优于多个有竞争力的基线方法。