使用手持相机生成试穿检查视频
计算机视觉与模式识别
2025-12-02 v2
摘要
自拍全身视频很受欢迎，但大多数应用方式需要安装相机、精心取景和反复练习。我们提出了一种更便捷的解决方案，能够使用手持移动设备进行全身视频捕捉。我们的方法以你在镜子中的两张静态照片（正面和背面）以及你手持手机时执行的 IMU 动作参考作为输入，并合成你执行类似目标动作的真实视频。我们支持渲染到带有一致光照和阴影的新场景中。我们提出了一种新颖的基于视频扩散的模型来实现这一点。具体而言，我们提出了一种无参数的帧生成策略和一种多参考注意力机制，以将来自正面和背面自拍的表观信息有效整合到视频扩散模型中。此外，我们引入了一种基于图像的微调策略，以增强帧的清晰度并改善阴影和反射的生成，从而实现更真实的人与场景组合。
引用
@article{arxiv.2505.23886,
title = {Generating Fit Check Videos with a Handheld Camera},
author = {Bowei Chen and Brian Curless and Ira Kemelmacher-Shlizerman and Steven M. Seitz},
journal= {arXiv preprint arXiv:2505.23886},
year = {2025}
}