Eye-See-You：逆向穿透式 VR 和头部头像
计算机视觉与模式识别
2025-05-29 v2
摘要
虽然 VR 耳机在不断演进的数字生态系统中占据重要位置，但它们面临一个关键挑战：遮挡用户的眼睛和面部的部分区域，这会阻碍视觉交流，可能导致社交孤立。为此，我们引入了RevAvatar，一种创新框架，利用 AI 方法实现逆向穿透技术，从根本上改变了 VR 耳机的设计和交互范式。RevAvatar集成了最新的生成模型和多模态 AI 技术，用于从部分观察到的眼睛和下半部面部区域重建高保真2D面部图像并生成准确的3D头部头像。该框架代表了AI4Tech的一个重要进步，通过实现虚拟环境与物理环境之间的无缝交互，促进了诸如 VR 会议和社交互动等沉浸式体验。此外，我们提出了VR-Face，一个包含20万个样本的新型数据集，旨在模拟多样化的VR特定条件，包括遮挡、光照变化和畸变。通过解决当前 VR 系统中的根本性限制，RevAvatar体现了 AI 与下一代技术之间变革性的协同作用，为增强虚拟环境中的人类连接和互动提供了一个稳健的平台。
引用
@article{arxiv.2505.18869,
title = {Eye-See-You: Reverse Pass-Through VR and Head Avatars},
author = {Ankan Dash and Jingyi Gu and Guiling Wang and Chen Chen},
journal= {arXiv preprint arXiv:2505.18869},
year = {2025}
}
备注
34th International Joint Conference on Artificial Intelligence, IJCAI 2025