BecomingLit：基于混合神经着色的可重 lighting 高分辨率头像

我们提出 BecomingLit，一种用于重建可重 lighting、高分辨率头部头像的新方法，能够在交互式速率下从新视角进行渲染。为此，我们提出一种新的低成本 light stage 捕获 setup，专为捕获面部图像而设计。借助此 setup，我们收集了一个由多样化多视角序列组成的新数据集，包含众多受试者，在不同照明条件和面部表情下进行捕获。利用新数据集，我们提出一种新的可重 lighting 头像表示，基于3D 高斯原始素构建，并通过参数化头部模型和表达式依赖 dynamics 模块进行动画处理。我们提出了新的混合神经着色方法，结合神经漫反射 BRDF 与解析镜面项。该方法从动态 light stage 记录中重建解耦材料，能够对头像实现全频段重 lighting，支持点光源和环境光图。此外，我们的头像可轻松通过单目视频进行动画和控制。我们在该数据集上进行了广泛实验， consistently 超过现有最先进方法，在重 lighting 和再现实力方面实现显著优势。