面向人体新视角合成的可泛化且可重光照的 Gaussian Splatting
计算机视觉与模式识别
2025-11-24 v2
摘要
我们提出了 GRGS，一种用于在多样光照条件下进行高保真人体新视角合成的可泛化且可重光照的 3D Gaussian 框架。与依赖逐角色优化或忽略物理约束的现有方法不同，GRGS 采用前馈式、全监督策略，将几何、材质和光照线索从多视角 2D 观测投影至 3D Gaussian 表示。为在多样光照条件下恢复精确几何，我们引入了光照鲁棒几何细化 (LGR) 模块，该模块在合成重光照数据上训练，以预测精确深度和表面法线。基于高质量几何，我们进一步提出了物理基础神经渲染 (PGNR) 模块，将神经预测与基于物理的着色相结合，支持带有阴影和间接光照的可编辑重光照。此外，我们设计了一种 2D 到 3D 投影训练方案，利用来自环境光遮蔽、直接光照和间接光照图的可微监督，减轻了光线追踪的计算成本。大量实验表明，GRGS 在跨角色和光照条件下实现了优异的视觉质量、几何一致性和泛化能力。
引用
@article{arxiv.2505.21502,
title = {Generalizable and Relightable Gaussian Splatting for Human Novel View Synthesis},
author = {Yipengjing Sun and Shengping Zhang and Chenyang Wang and Shunyuan Zheng and Zonglin Li and Xiangyang Ji},
journal= {arXiv preprint arXiv:2505.21502},
year = {2025}
}
备注
Project Webpage: https://sypj-98.github.io/grgs/