RelightableHands：关节化手部模型的高效神经重打光
计算机视觉与模式识别
2023-02-10 v1 图形学
摘要
我们提出首个神经重打光方法，用于渲染高保真个性化手部，可在新颖光照下实时动画。我们的方法采用师生框架，其中教师在光舞台捕获的图像上学习单点光源下的外观，使我们能够合成任意光照下的手部但计算繁重。利用教师模型渲染的图像作为训练数据，高效学生模型直接实时预测自然光照下的外观。为实现泛化，我们以物理启发的光照特征（如在粗代理几何上计算的可见性、漫反射明暗和镜面反射）作为学生模型的条件，保持较小的计算开销。我们的核心见解是这些特征与后续的全局光传输效应强相关，足以作为神经重打光网络的条件数据。此外，与瓶颈式光照条件不同，这些特征基于底层几何在空间上对齐，从而更好地泛化到未见光照和姿态。在我们的实验中，我们证明了光照特征表示的有效性，优于基线方法。我们还展示我们的方法能以实时速度对两只交互的手进行真实感重打光。https://sh8.io/#/relightable_hands
引用
@article{arxiv.2302.04866,
title = {RelightableHands: Efficient Neural Relighting of Articulated Hand Models},
author = {Shun Iwase and Shunsuke Saito and Tomas Simon and Stephen Lombardi and Timur Bagautdinov and Rohan Joshi and Fabian Prada and Takaaki Shiratori and Yaser Sheikh and Jason Saragih},
journal= {arXiv preprint arXiv:2302.04866},
year = {2023}
}
备注
8 pages, 16 figures, Website: https://sh8.io/#/relightable_hands