可重 lighting 人类全身动态角色：稀疏视角下人类表演捕捉与重 lighting
计算机视觉与模式识别
2026-03-31 v2
摘要
我们提出可重 lighting 人类全身动态角色 (RHC)，这是一种基于稀疏视角 RGB 视频在推理阶段实现自由视角渲染与重 lighting 的新型个体化方法。与经典单光照一次 (OLAT) 人类重 lighting 方法不同，我们的基于 Transformer 的 RelightNet 在单次网络传递中预测重 lighting 后的外观，避免了昂贵的 OLAT 基准捕捉与生成。为训练此类模型，我们引入一种新的捕获策略和数据集，采用多视角灯台录制，交替记录由随机环境图照亮的帧与均匀照亮的跟踪帧，同时实现精确运动跟踪、多样化照明以及动态覆盖。灵感来自渲染方程，我们推导出物理信息特征，从粗糙人体网格代理和输入视角中编码几何、法线、照明和虚拟相机视角。我们的 RelightNet 采用这些特征作为输入，并跨注意力地与新颖的 lighting 条件交互，回归以粘合于粗糙人体网格代理上的纹理对齐 3D 高斯 splat 形式的重 lighting 外观。因此，我们的 RelightNet 在单次前向传递中隐式学习了针对新 lighting 条件高效计算渲染方程。实验表明，我们的方法在视觉保真度和 lighting 再现方面优于最先进的方法。项目页面：https://vcai.mpi-inf.mpg.de/projects/RHC/
引用
@article{arxiv.2512.00255,
title = {Relightable Holoported Characters: Capturing and Relighting Dynamic Human Performance from Sparse Views},
author = {Kunwar Maheep Singh and Jianchun Chen and Vladislav Golyanik and Stephan J. Garbin and Thabo Beeler and Rishabh Dabral and Marc Habermann and Christian Theobalt},
journal= {arXiv preprint arXiv:2512.00255},
year = {2026}
}