EgoAvatar：以自身视角为导向且具全身照片写实感的全身头像

沉浸式 VR 远程会话理想状态是能够与数字头像进行交互和沟通，这些头像与其真实对应体无异且精确反映其行为。核心技术挑战在于：创建能够忠实反映真实人类的数字分身，以及仅从轻便且低能耗的佩戴式传感器（例如单个 RGB 相机）中对真实人类进行跟踪。目前尚无统一解决方案，因为近期工作仅关注自身视角运动捕捉、仅建模头部，或从多视图捕获构建头像。本文首次提出一种以人为个性化的自身视角远程会话方法，同时联合建模逼真的数字头像并从单个自身视角视频驱动其运动。我们首先提出可由骨骼运动驱动的角色模型，能够建模几何和外观。随后，我们引入个性化自身视角运动捕捉组件，从自身视角视频中恢复全身运动。最后，我们将恢复后的姿态应用到角色模型上并进行测试时网格细化，以确保几何忠实地投影到自身视角中。为验证我们的设计选择，我们提出了一个新且具有挑战性的基准，提供真实人类执行各种动作的配对自身视角和稠密多视图视频。我们的实验表明，我们的方法在自身视角和逼真写实远程会话方面明显超越基线方法和竞争方法。更多细节、代码和数据请参阅我们的项目页面。