REFA：面向虚拟现实的实时自我中心面部动画
计算机视觉与模式识别
2026-02-11 v1
摘要
我们提出了一种新颖的系统，用于利用嵌入在虚拟现实(VR)头显中的一组红外摄像头捕获的自我中心视图进行实时面部表情跟踪。我们的技术使得任何用户都能以非侵入式的方式精确驱动虚拟角色的面部表情，且无需冗长的校准步骤。我们系统的核心是一种基于蒸馏的方法，用于在来自多个来源(例如合成图像和真实图像)的异构数据和标签上训练机器学习模型。作为我们数据集的一部分，我们使用一个由手机和带有额外摄像头的定制VR头显组成的轻量级捕获装置，收集了18,000名不同的受试者。为了处理这些数据，我们开发了一个强大的可微渲染管线，使我们能够自动提取面部表情标签。我们的系统为虚拟环境中的沟通和表达开辟了新途径，其应用包括视频会议、游戏、娱乐和远程协作。
引用
@article{arxiv.2601.03507,
title = {REFA: Real-time Egocentric Facial Animations for Virtual Reality},
author = {Qiang Zhang and Tong Xiao and Haroun Habeeb and Larissa Laich and Sofien Bouaziz and Patrick Snape and Wenjing Zhang and Matthew Cioffi and Peizhao Zhang and Pavel Pidlypenskyi and Winnie Lin and Luming Ma and Mengjiao Wang and Kunpeng Li and Chengjiang Long and Steven Song and Martin Prazak and Alexander Sjoholm and Ajinkya Deogade and Jaebong Lee and Julio Delgado Mangas and Amaury Aubel},
journal= {arXiv preprint arXiv:2601.03507},
year = {2026}
}
备注
CVPR 2024 Workshop