从画廊到手腕：视频中真实3D手镯插入技术
计算机视觉与模式识别
2025-07-30 v2
摘要
将3D物体插入视频是计算机图形学中的一项长期存在的挑战，适用于增强现实、虚拟试穿和视频合成等应用。实现时空一致性或实现逼真的光照仍然困难，尤其是在物体运动复杂、视角变化和照明变化的动态场景中。虽然2D扩散模型在生成逼真的编辑方面显示出前景，但它们往往难以在帧与帧之间维持时序一致性。相反，传统的3D渲染方法在空间和时序一致性方面表现出色，但在实现逼真的光照方面不足。本文提出了一种混合物体插入管道，结合了两种范式的优势。具体而言，我们聚焦于将手镯插入动态手腕场景中，利用3D高斯溅写（3DGS）的高时序一致性进行初始渲染，并使用基于2D扩散的细化模型来确保逼真的光照相互作用。我们的方法引入了一种基于光照的管道，将固有物体属性（如朗伯、光照、反射率）分离，并对光照和sRGB图像进行细化以实现逼真。在保持时序一致性方面，我们对3DGS模型进行了多帧加权调整。这是首种将3D渲染与2D扩散 synergize用于视频物体插入的技术，为实现逼真且一致的视频编辑提供了稳健的解决方案。项目页面：https://cjeen.github.io/BraceletPaper/
引用
@article{arxiv.2507.20331,
title = {From Gallery to Wrist: Realistic 3D Bracelet Insertion in Videos},
author = {Chenjian Gao and Lihe Ding and Rui Han and Zhanpeng Huang and Zibin Wang and Tianfan Xue},
journal= {arXiv preprint arXiv:2507.20331},
year = {2025}
}
备注
12 pages