通过模块化编解码器虚拟人实现富有表现力的远程呈现
计算机视觉与模式识别
2020-08-28 v1
摘要
VR远程呈现是指在由虚拟人表征的虚拟空间中与另一个人交互。当今大多数虚拟人呈卡通风格，但很快该技术将允许视频写实级的虚拟人。本文朝此方向努力，提出模块化编解码器虚拟人（MCA），一种由VR头显中摄像头驱动以生成超写实人脸的方法。MCA通过以习得模块化表示替代整体模型，扩展了传统的编解码器虚拟人（CA）。需注意，传统的特定人CA从少量训练样本习得，在迁移面部表情时通常缺乏鲁棒性且表现力有限。MCA通过学习不同面部组件的调制自适应混合以及基于范例的潜空间对齐来解决这些问题。我们证明，在多种真实世界数据集与实际场景中，MCA相较CA实现了改进的表现力与鲁棒性。最后，我们展示了由所提模型赋能的VR远程呈现中的新应用。
关键词
引用
@article{arxiv.2008.11789,
title = {Expressive Telepresence via Modular Codec Avatars},
author = {Hang Chu and Shugao Ma and Fernando De la Torre and Sanja Fidler and Yaser Sheikh},
journal= {arXiv preprint arXiv:2008.11789},
year = {2020}
}
备注
ECCV 2020