You2Me：通过第一人称与第二人称交互推断 ego 视频中的身体姿态
计算机视觉与模式识别
2020-03-31 v2
摘要
佩戴摄像头者的身体姿态在增强现实、医疗健康和机器人等领域有重要应用价值，然而对于典型的穿戴式摄像头，该人身体大部分处于视场之外。我们提出一种基于学习的方法，从 ego 视频序列估计摄像头佩戴者的 3D 身体姿态。我们的核心见解是利用与另一人——其身体姿态可被直接观测——的交互，作为与第一人称主体身体姿态内在关联的信号。我们表明，由于个体间的交互常引发有序的来回响应序列，即便一方大多不在视野中，仍有可能学习到相互关联姿态的时间模型。我们在多种具有双人交互的领域展示了该思路，并显示出其对 ego 身体姿态估计的实质性提升，改进了当前最优（SOTA）水平。视频结果见 http://vision.cs.utexas.edu/projects/you2me/
引用
@article{arxiv.1904.09882,
title = {You2Me: Inferring Body Pose in Egocentric Video via First and Second Person Interactions},
author = {Evonne Ng and Donglai Xiang and Hanbyul Joo and Kristen Grauman},
journal= {arXiv preprint arXiv:1904.09882},
year = {2020}
}