基于一致性建模的实时神经视频人像重打光
计算机视觉与模式识别
2021-04-02 v1 图形学
摘要
视频人像重打光在面向用户的摄影中至关重要，尤其对于沉浸式 VR/AR 体验。近期进展仍未能从单目 RGB 流中在动态光照下恢复一致的重打光结果，受制于缺乏视频一致性监督。本文中，我们提出一种实时、高质量且连贯的视频人像重打光神经方法，其利用新的动态 OLAT 数据集联合建模语义、时间与光照一致性。我们在编码器-解码器架构中提出混合结构与光照解耦，结合多任务与对抗训练策略以实现语义感知的一致性建模。我们采用基于光流监督的时间建模方案，以交叉方式编码共轭时间一致性。我们还提出光照采样策略，为真实世界中自然的人像光操控建模光照一致性与突变。大量实验证明了我们的方法在一致视频人像光编辑与重打光上的有效性，即便使用移动计算亦然。
引用
@article{arxiv.2104.00484,
title = {Neural Video Portrait Relighting in Real-time via Consistency Modeling},
author = {Longwen Zhang and Qixuan Zhang and Minye Wu and Jingyi Yu and Lan Xu},
journal= {arXiv preprint arXiv:2104.00484},
year = {2021}
}