VIP：面向真实人物移除的视频 inpainting 流程
计算机视觉与模式识别
2025-04-07 v1
摘要
在高分辨率视频片段中进行真实人物和行人移除的图像修复 presents significant挑战，尤其是要实现高质量的结果，确保时间一致性，以及管理涉及人物、其随物品和阴影的复杂对象交互。在本文中，我们引入了 VIP（Video Inpainting Pipeline），一个用于真实人物移除应用的 novel promptless 视频图像修复框架。VIP 通过引入运动模块增强了最新文本到视频模型，并在潜在空间中使用变分自编码器（VAE）进行 progressive 去噪。此外，我们实现了一种高效的人物与随物品分割，用于精确的 mask 生成。充分的实验结果表明，VIP 在多样化的真实场景中实现了优于现有方法的优异时间一致性和视觉保真度。我们的主要贡献包括开发 VIP 流程、reference frame 集成技术，以及 Dual-Fusion Latent Segment Refinement 方法，所有这些都解决了在长时间、高分辨率视频序列中进行图像修复的复杂性。
引用
@article{arxiv.2504.03041,
title = {VIP: Video Inpainting Pipeline for Real World Human Removal},
author = {Huiming Sun and Yikang Li and Kangning Yang and Ruineng Li and Daitao Xing and Yangbo Xie and Lan Fu and Kaiyu Zhang and Ming Chen and Jiaming Ding and Jiang Geng and Jie Cai and Zibo Meng and Chiuman Ho},
journal= {arXiv preprint arXiv:2504.03041},
year = {2025}
}