基于表面八角天线探针的高效 3D 物体-场景组合 ComGS
计算机视觉与模式识别
2025-10-10 v1
摘要
高斯溶射（GS） enables 逐沉浸式渲染，但实现逼真的 3D 物体-场景组合仍具有挑战性。GS radiance fields 中的烘焙外观和阴影信息在组合物体和场景时会导致不一致。为解决这一问题，需要进行可重 lighting 的物体重建和场景照明估计。对于可重 lighting 的物体重建，现有的基于高斯的逆渲染方法常依赖光线追踪，导致效率低下。我们引入表面八角天线探针（SOPs），存储照明和遮蔽信息，并通过插值允许高效的 3D 查询，避免昂贵的光线追踪。SOPs 在重建中至少提供 2 倍的加速，并 enable 实时阴影计算。对于照明估计，现有的基于高斯的逆渲染方法难以建模复杂的光传输，往往在复杂场景中失败，而基于学习的方法则从单张图像预测照明，受视点的影响。我们观察到，3D 物体-场景组合主要关乎物体的外观和附近阴影。因此，我们简化了以全场景照明估计为目标的困难任务，专注于物体放置处的环境照明。具体而言，我们在该位置捕获 360° 重建辐射场，并对扩散模型进行微调以完成照明。基于这些进展，我们提出 ComGS，一个新的 3D 物体-场景组合框架。该方法实现了约 28 FPS 的高质量实时渲染，产生视觉和谐的效果并呈现鲜活的阴影，仅需 36 秒即可完成编辑。代码和数据集均可用 https://nju-3dv.github.io/projects/ComGS/ 获取。
引用
@article{arxiv.2510.07729,
title = {ComGS: Efficient 3D Object-Scene Composition via Surface Octahedral Probes},
author = {Jian Gao and Mengqi Yuan and Yifei Zeng and Chang Zeng and Zhihao Li and Zhenyu Chen and Weichao Qiu and Xiao-Xiao Long and Hao Zhu and Xun Cao and Yao Yao},
journal= {arXiv preprint arXiv:2510.07729},
year = {2025}
}