VirtualNexus：通过环境剪影和虚拟副本增强360度视频AR/VR协作
人机交互
2024-08-07 v1
摘要
非对称AR/VR协作系统将远程VR用户带入本地AR用户的物理环境，使他们能够在共享的虚拟/物理空间中沟通和工作。此类系统通常通过3D重建或360度视频显示远程环境。虽然360度摄像头以更高质量流式传输环境，但它们缺乏空间信息，使其可交互性较差。我们提出了VirtualNexus，一个通过环境剪影和虚拟副本增强360度视频AR/VR协作的AR/VR协作系统。VR用户可以定义远程环境的剪影，以微缩世界的方式进行交互，并且他们的交互会同步到本地AR视角。此外，AR用户可以使用神经渲染快速扫描和共享物理对象的3D虚拟副本。我们通过3个示例应用展示了系统的实用性，并在双人可用性测试中评估了我们的系统。VirtualNexus扩展了360度远程呈现系统的交互空间，提供了改进的物理存在感、多功能性和交互清晰度。
引用
@article{arxiv.2408.02914,
title = {VirtualNexus: Enhancing 360-Degree Video AR/VR Collaboration with Environment Cutouts and Virtual Replicas},
author = {Xincheng Huang and Michael Yin and Ziyi Xia and Robert Xiao},
journal= {arXiv preprint arXiv:2408.02914},
year = {2024}
}
备注
12 pages, 10 figures, to be published in The 37th Annual ACM Symposium on User Interface Software and Technology (UIST'24)