学习惊艳先验用于野外人脸外观捕获
计算机视觉与模式识别
2026-05-08 v1 图形学
摘要
高质量的人脸外观捕获传统上需要昂贵的工作室录制。最近的研究考虑基于智能手机的野外设置，但其基于模型的逆渲染方法在处理照明未知导致的反射率 disentanglement 问题时困难。为弥合这一差距，我们提出转变范式，通过训练强大的惊艳网络作为先验来约束优化。我们利用 OLAT 数据集和渲染的 Light Stage scans 进行训练，提出数据潜在调制 (DLM) 以无缝集成这些异构数据源。具体而言，通过对核心网络进行条件化，利用可学习的源感知标记，我们解耦数据特定的风格与物理惊艳原则，实现超越现有专有模型的惊艳先验。这种强大的惊艳先验使我们能够构建一个简单且自动化的外观捕获管道，从平凡视频输入中实现高质量反射率估计，显著优于先前的方法。进一步，我们利用外观捕获方法将多视图 NeRSemble 数据集转换为 NeRSemble-Scan，一个由 4K 分辨率可重光扫描组成的大规模数据集。通过开源我们的模型和 NeRSemble-Scan 数据集，我们让高端人脸捕获变得民主化，为研究社区提供了构建照片逼真数字人类的新基础。
引用
@article{arxiv.2605.05636,
title = {Learning a Delighting Prior for Facial Appearance Capture in the Wild},
author = {Yuxuan Han and Xin Ming and Tianxiao Li and Zhuofan Shen and Qixuan Zhang and Lan Xu and Feng Xu},
journal= {arXiv preprint arXiv:2605.05636},
year = {2026}
}
备注
ACM Transactions on Graphics (Proc. of SIGGRAPH), 2026. Code: https://github.com/yxuhan/OpenDelight Project Page: https://yxuhan.github.io/OpenDelight/index.html