HeadsetOff：在经济型 VR 头显上实现无接缝逼真的视频会议
多媒体
2024-08-19 v2
摘要
虚拟现实（VR）正在越来越受欢迎，用于远程协作，但在用户头部戴上头显后进行视频会议存在挑战。现有解决方案在可及性方面存在局限。本文提出了 HeadsetOff，一种一种新型系统，通过利用语音驱动的人脸重建，在经济型 VR 头显上实现无接缝逼真的视频会议。HeadsetOff 由三个主要组件构成：多模态预测器、生成器和自适应控制器。预测器根据不同模态数据有效预测用户未来行为。生成器利用语音、头部运动和眨眼来驱动人脸动画。自适应控制器在画质与延迟之间的权衡上动态选择合适的生成器模型。实验结果表明，HeadsetOff 在经济型 VR 头显上实现了高质量、低延迟的无接缝逼真视频会议。
引用
@article{arxiv.2407.19988,
title = {HeadsetOff: Enabling Photorealistic Video Conferencing on Economical VR Headsets},
author = {Yili Jin and Xize Duan and Fangxin Wang and Xue Liu},
journal= {arXiv preprint arXiv:2407.19988},
year = {2024}
}
备注
Accepted by ACM Multimedia 2024