利用 PatchMatch 和 Transformer 进行动态纹理迁移
计算机视觉与模式识别
2024-02-02 v1
摘要
如何自动将给定视频的动态纹理迁移到目标静态图像是一个具有挑战性且正在进行的问题。在本文中，我们提出通过一个简单而有效的模型来处理此任务，该模型同时利用了 PatchMatch 和 Transformer。核心思想是将动态纹理迁移任务分解为两个阶段：第一阶段基于 PatchMatch 算法，通过距离图引导的纹理迁移模块合成具有所需动态纹理的目标视频起始帧；第二阶段将合成图像分解为与结构无关的图块，利用配备 VQ-VAE 的 Transformer 处理长离散序列的强大能力，预测其对应的后续图块。在获得所有这些图块后，我们应用高斯加权平均融合策略，将它们平滑地组装成目标风格化视频的每一帧。实验结果表明，与最先进的方法相比，所提出的方法在动态纹理迁移方面具有有效性和优越性。
引用
@article{arxiv.2402.00606,
title = {Dynamic Texture Transfer using PatchMatch and Transformers},
author = {Guo Pu and Shiyao Xu and Xixin Cao and Zhouhui Lian},
journal= {arXiv preprint arXiv:2402.00606},
year = {2024}
}