AirPose：用于空中三维人体姿态与形状估计的多视角融合网络
计算机视觉与模式识别
2022-04-27 v2
摘要
在本快报中，我们提出了一种新颖的、面向非结构化户外环境的无标记三维人体动作捕捉（MoCap）系统，该系统使用一支配备机载 RGB 相机与计算单元的自主无人机（UAV）团队。现有方法受限于已标定相机与离线处理。因此，我们提出首个利用多台外部未标定的飞行相机所捕获图像来估计人体姿态与形状的方法（AirPose）。AirPose 自身将相机相对于人体进行标定，而非依赖任何预先标定。它使用运行于每架 UAV 上的分布式神经网络，彼此间就人体（即其 3D 形状与关节化姿态）交换视角无关的信息。人体的形状与姿态使用 SMPL-X 身体模型参数化，从而得到紧凑表示，使 UAV 间通信最小化。该网络使用真实感虚拟环境的合成图像训练，并在一小部分真实图像上微调。我们还引入了一种基于优化的后处理方法（AirPose）用于需要更高 MoCap 质量的离线应用。我们已在 https://github.com/robot-perception-group/AirPose 公开本方法的代码与数据以供研究。描述该方法与结果的视频见 https://youtu.be/xLYe1TNHsfs。
引用
@article{arxiv.2201.08093,
title = {AirPose: Multi-View Fusion Network for Aerial 3D Human Pose and Shape Estimation},
author = {Nitin Saini and Elia Bonetto and Eric Price and Aamir Ahmad and Michael J. Black},
journal= {arXiv preprint arXiv:2201.08093},
year = {2022}
}