PriorityCut：基于扭曲的图像动画中遮挡引导的正则化方法
计算机视觉与模式识别
2021-03-23 v1 机器学习
摘要
图像动画生成一段源图像跟随驱动视频运动而成的视频。最先进的自监督图像动画方法根据驱动视频的运动对源图像进行扭曲，并通过修复来恢复扭曲伪影。这些方法大多使用普通卷积进行修复，而普通卷积并不区分有效像素与无效像素。因此，修复后视觉伪影仍显而易见。CutMix 是一种最先进的正则化策略，它裁剪并混合图像块，并在不同计算机视觉任务中被广泛研究。在余下的计算机视觉任务中，基于扭曲的图像动画是尚未研究 CutMix 效果的领域之一。本文首先对 CutMix 在基于扭曲的图像动画上的效果给出初步研究。我们在研究中观察到，CutMix 仅有助于改善像素值，却扰乱了像素间的空间关系。基于该观察，我们提出 PriorityCut，一种利用前景中遮挡比例最高的前 k% 像素来正则化基于扭曲的图像动画的新型增强方法。通过利用基于扭曲的图像动画中的领域知识，PriorityCut 在多个数据集上显著减少了最先进基于扭曲的图像动画模型中的扭曲伪影。
引用
@article{arxiv.2103.11600,
title = {PriorityCut: Occlusion-guided Regularization for Warp-based Image Animation},
author = {Wai Ting Cheung and Gyeongsu Chae},
journal= {arXiv preprint arXiv:2103.11600},
year = {2021}
}