MV-CoLight: 具有一致光照与阴影生成的高效物体合成
计算机视觉与模式识别
2025-05-28 v1
摘要
物体合成对增强现实(AR)和具身智能应用具有重大前景。现有方法主要关注单图像场景或本征分解技术，在多视角一致性、复杂场景和多样光照条件方面面临挑战。近期逆渲染的进展，如 3D Gaussian 和基于扩散的方法，增强了一致性，但受限于可扩展性、庞大的数据需求或每个场景漫长的重建时间。为了拓宽其适用性，我们引入了 MV-CoLight，一个在 2D 图像和 3D 场景中实现光照一致物体合成的两阶段框架。我们新颖的前馈架构直接对光照和阴影进行建模，避免了基于扩散方法的迭代偏差。我们采用基于 Hilbert 曲线的映射，将 2D 图像输入与 3D Gaussian 场景表示无缝对齐。为了促进训练和评估，我们进一步引入了一个大规模 3D 合成数据集。实验表明，在标准基准和我们的数据集上均取得了 SOTA 的和谐结果，随手拍摄的真实世界场景也证明了该框架的鲁棒性和广泛泛化能力。
引用
@article{arxiv.2505.21483,
title = {MV-CoLight: Efficient Object Compositing with Consistent Lighting and Shadow Generation},
author = {Kerui Ren and Jiayang Bai and Linning Xu and Lihan Jiang and Jiangmiao Pang and Mulin Yu and Bo Dai},
journal= {arXiv preprint arXiv:2505.21483},
year = {2025}
}