ClothFormer：在全模块上驾驭视频虚拟试穿

视频虚拟试穿任务旨在将目标衣物贴合到视频中的人物上并保持时空一致性。尽管图像虚拟试穿已取得巨大进展，但其应用于视频时会导致帧间不一致。有限的工作也探索了基于视频的虚拟试穿任务，但未能产生视觉愉悦且时间连贯的结果。此外，还有两个其他关键挑战：1）当衣物区域出现遮挡时如何生成准确的扭曲；2）如何使衣物与非目标身体部位（如手臂、颈部）与复杂背景和谐生成；为此，我们提出一种新颖的视频虚拟试穿框架 ClothFormer，其在复杂环境中成功合成逼真、和谐且时空一致的结果。具体而言，ClothFormer 包含三大模块。第一，两阶段抗遮挡扭曲模块，预测身体区域与衣物区域间准确的稠密流映射。第二，表观流追踪模块利用岭回归与光流校正平滑稠密流序列并生成时间平滑的扭曲衣物序列。第三，双流 transformer 提取并融合衣物纹理、人物特征与环境信息以生成逼真试穿视频。通过严谨实验，我们证明我们的方法在合成视频质量上定性与定量均大幅超越基线。