生成无人环境漫步：从以人为中心的步行旅游视频中生成
计算机视觉与模式识别
2026-04-01 v1
摘要
以人为中心的“步行旅游”视频提供了丰富的图像数据，用于开发环境世界的丰富且多样化的视觉模型。然而，由于人群密集和眼水平视角摄像，视频帧中大量人物存在，削弱了其在环境建模应用中的有用性。我们聚焦于开发一种生成算法，能够真实地移除（即对人物及其相关阴影效应进行 inpaint）步行旅游视频中的人物。我们方法的关键在于构建丰富的半合成数据集来训练该生成模型。数据集中的每个配对由一个仅含环境的背景剪辑和一个包含模拟阴影叠加在背景上的步行人物合成剪辑组成。我们随机来源于世界各地真实的以人为中心步行旅游视频，以保持视觉多样性。随后我们使用该数据集对 state-of-the-art Casper 视频扩散模型进行微调，用于对象和效应 inpaint，展示了 resulting model 在去除步行旅游剪辑中显著人物存在和复杂背景的效果远超 Casper 进行了定性和定量评估。最后，我们表明生成的剪辑可用于构建成功的 3D/4D 城市位置模型。
引用
@article{arxiv.2603.29036,
title = {Generating Humanless Environment Walkthroughs from Egocentric Walking Tour Videos},
author = {Yujin Ham and Junho Kim and Vivek Boominathan and Guha Balakrishnan},
journal= {arXiv preprint arXiv:2603.29036},
year = {2026}
}