OFERA：基于 Blendshape 的 3D 高斯控制用于 VR 中遮挡面部表情的逼真化身
图形学
2026-02-03 v1
摘要
我们提出OFERA，一个用于VR headset用户实时控制逼真高斯头部化身的表情控制框架。现有方法尝试通过额外传感器或内部摄像头恢复被遮挡的面部表情，但基于传感器的方法会增加设备重量和不适感，而基于摄像头的方法则引发隐私顾虑并受限于获取原始数据的限制。为克服这些限制，我们利用商业VR headset提供的Blendshape信号作为表情输入。我们的框架包含三个关键组件：（1）Blendshape分布对齐（BDA），通过线性回归将 headset提供的Blendshape分布对齐到标准输入空间；（2）表情参数映射器（EPM），将对齐后的Blendshape信号映射到用于控制高斯头部化身的表情参数空间；（3）集成映射器的化身（MiA），将EPM纳入化身学习过程中以确保分布一致性。此外，OFERA建立了一个端到端的管道，在感知和映射表情、更新高斯化身以及在VR环境中实时渲染之间实现无缝衔接。我们表明EPM在定量指标上优于现有映射方法，并通过用户研究展示完整OFERA框架在保持化身真实感的同时提升了表情保真度。通过实现对化身表情的实时逼真控制，OFERA显著提升了VR通信中的沉浸感。项目页面可访问于https://ysshwan147.github.io/projects/ofera/。
关键词
引用
@article{arxiv.2602.01748,
title = {OFERA: Blendshape-driven 3D Gaussian Control for Occluded Facial Expression to Realistic Avatars in VR},
author = {Seokhwan Yang and Boram Yoon and Seoyoung Kang and Hail Song and Woontack Woo},
journal= {arXiv preprint arXiv:2602.01748},
year = {2026}
}
备注
Accepted as an IEEE TVCG paper at IEEE VR 2026 (journal track)