增强你自己：基于光学透视头戴显示器与物理镜面的混合现实自我增强
人机交互
2020-07-07 v1 计算机视觉与模式识别
摘要
光学透视头戴显示器（OST HMD）是将虚拟物体与物理场景融合、为用户提供沉浸式混合现实（MR）环境的关键技术之一。HMD 的一个根本局限是用户自身无法便捷地被增强，因为在自然姿态下，仅远端上肢处于 HMD 视场内。因此，大多数以用户为中心的 MR 应用，如虚拟试衣间或身体动作学习，无法用 HMD 实现。本文提出一种结合 OST HMD 与物理镜面以实现自我增强并提供以用户为中心的沉浸式 MR 环境的新概念与原型系统。据我们所知，我们的系统属首例，其利用附着在 HMD 上的 RGBD 相机估计用户在镜面所生成虚拟图像中的姿态，并将虚拟物体锚定到反射像而非用户本身。我们从标定精度及镜面导致的红外信号衰减效应方面对系统作定量评估，并展示了其在大型镜面已是设施固有组成部分的应用中的潜力。特别地，我们演示了其在虚拟试衣间、游戏应用、解剖学习与个人健身中的使用。与 LCD 智能镜等竞争设备不同，所提系统仅由带 RGBD 相机的 HMD 组成，故无需预制环境，极为灵活通用。未来工作中，我们将探究系统如何最优用于物理康复与个人训练这一前景广阔的应用。
引用
@article{arxiv.2007.02884,
title = {Augment Yourself: Mixed Reality Self-Augmentation Using Optical See-through Head-mounted Displays and Physical Mirrors},
author = {Mathias Unberath and Kevin Yu and Roghayeh Barmaki and Alex Johnson and Nassir Navab},
journal= {arXiv preprint arXiv:2007.02884},
year = {2020}
}
备注
This manuscript was initially submitted to IEEE VR TVCG 2018 on November 22, 2017