ANYPORTAL:零样本一致性视频背景替换
计算机视觉与模式识别
2025-09-10 v1
摘要
尽管视频生成技术快速发展,但创建精确符合用户意图的高质量视频仍然是一个重大挑战。现有方法通常无法实现对视频细节的细粒度控制,限制了其实际应用。我们引入了ANYPORTAL,这是一个新颖的零样本视频背景替换框架,它利用了预训练的扩散模型。我们的框架在零样本设置下,协同整合了视频扩散模型的时间先验与图像扩散模型的重新照明能力。为了解决前景一致性的关键挑战,我们提出了一种细化投影算法,该算法能够实现像素级的细节操控,以确保精确的前景保留。ANYPORTAL无需训练,克服了实现前景一致性和时间连贯重照明的挑战。实验结果表明,ANYPORTAL在消费级GPU上就能获得高质量的结果,为视频内容创作和编辑提供了一种实用且高效的解决方案。
引用
@article{arxiv.2509.07472,
title = {ANYPORTAL: Zero-Shot Consistent Video Background Replacement},
author = {Wenshuo Gao and Xicheng Lan and Shuai Yang},
journal= {arXiv preprint arXiv:2509.07472},
year = {2025}
}
备注
8 pages, ICCV 2025, Website: https://gaowenshuo.github.io/AnyPortal/