基于人类视觉跨度的自我中心姿态估计

从自我中心视角估计相机佩戴者的身体姿态 (egopose) 是增强与虚拟现实中的一项重要任务。现有方法或使用 barely 捕捉到佩戴者的窄视场前视相机，或使用外伸头戴自上而下相机以获得最大佩戴者可见性。本文处理来自更自然人类视觉跨度的 egopose 估计，其中相机佩戴者可见于周边视野，且依头部姿态不同，佩戴者可能不可见或仅有有限局部视图。这是以眼镜为代表的用户中心可穿戴设备（具前视广角相机）的真实视野。现有方案不适用于此设定，因此我们提出一种利用相机 SLAM 动态特征与身体形状图像两者优势的深度学习新系统。我们同时计算 3D 头部姿态、3D 身体姿态及图/底分离，并显式强制姿态属性间某种几何一致性。我们进一步表明，该系统可利用大量现有 mocap 数据稳健训练，从而无需采集与标注大型新数据集。最后，我们的系统实时且即时估计 egopose，同时保持高准确度。