基于稀疏 RGBD 视频的少样本神经人体性能渲染
计算机视觉与模式识别
2021-10-04 v2 人工智能
摘要
近期针对人体活动的神经渲染方法取得了显著的视角合成结果，但仍依赖密集输入视角或对所有捕获帧进行密集训练，导致部署困难与训练开销低效。然而，当输入在空间和时序上均稀疏时，现有进展将面临不适定问题。为填补此空白，本文提出一种仅基于稀疏 RGBD 输入的少样本神经人体渲染方法（FNHR），其利用时序与空间冗余生成逼真的人体活动自由视角输出。我们的 FNHR 仅在输入序列中扩展运动流形的关键帧上训练。我们引入双分支神经混合以结合神经点渲染与经典图形纹理管线，从而整合稀疏关键帧上的可靠观测。此外，我们采用基于块的对抗训练过程以利用局部冗余并避免对关键帧过拟合，从而生成细节精细的渲染结果。大量实验证明了我们的方法在稀疏设定下为具有挑战性的人体表演生成高质量自由视点结果的有效性。
引用
@article{arxiv.2107.06505,
title = {Few-shot Neural Human Performance Rendering from Sparse RGBD Videos},
author = {Anqi Pang and Xin Chen and Haimin Luo and Minye Wu and Jingyi Yu and Lan Xu},
journal= {arXiv preprint arXiv:2107.06505},
year = {2021}
}
备注
6 pages, 7 figures