面向高效照片级真实感人体渲染的下一代扩展现实会议系统构想
计算机视觉与模式识别
2023-06-30 v1 图形学
机器学习
多媒体
摘要
在线会议正成为新常态。为在线会议创造沉浸式体验是实现更多样化、无缝环境的必然要求。高效的人体三维动态照片级真实感渲染是沉浸式会议的核心。当前流行的应用实现了实时会议，但在呈现照片级真实感人体动态方面存在不足，原因或是受限于二维空间，或是使用了缺乏参与者间真实交互的虚拟化身。神经渲染的最新进展，如神经辐射场（Neural Radiance Field, NeRF），为元宇宙会议中的更高真实感提供了可能。然而，NeRF 缓慢的渲染速度对实时会议构成挑战。我们构想了一个未来扩展现实元宇宙会议系统的流水线，其利用单目视频采集与自由视点合成来提升数据与硬件效率。为迈向沉浸式会议体验，我们探索了一种基于 NeRF 加速的自由视点合成算法，以更高效地渲染照片级真实感人体动态。我们表明，该算法在渲染质量相当的情况下，训练与推理分别比最先进方法快 44.5% 和 213%。我们的探索为构建可处理复杂应用场景（包括带定制主题的动态场景重打光，以及将真实世界人物融入扩展世界的多用户会议）的元宇宙会议系统提供了设计基础。
引用
@article{arxiv.2306.16541,
title = {Envisioning a Next Generation Extended Reality Conferencing System with Efficient Photorealistic Human Rendering},
author = {Chuanyue Shen and Letian Zhang and Zhangsihao Yang and Masood Mortazavi and Xiyun Song and Liang Peng and Heather Yu},
journal= {arXiv preprint arXiv:2306.16541},
year = {2023}
}
备注
Accepted to CVPR 2023 ECV Workshop