面向自动驾驶的弱监督多模态三维人体姿态估计
计算机视觉与模式识别
2023-07-28 v1 人工智能
摘要
精确的三维人体姿态估计（3D HPE）对使自动驾驶车辆（AV）在关键道路场景中做出明智决策并主动响应至关重要。3D HPE 在人机交互、机器人、体育与医疗分析等多个领域已取得可喜结果，通常基于在受控良好的实验室环境中收集的数据。然而，由于获取精确三维姿态标注的挑战以及其他领域数据的有限适用性，将 3D HPE 方法迁移至 AV 的研究关注有限。我们提出了一种简单而高效的弱监督方法，通过在相机与 LiDAR 数据间进行高层传感器融合，用于 AV 场景下的 3D HPE。该弱监督设定通过使用现成的 2D 关节提取器与由 LiDAR 到图像投影生成的伪标签，可在无任何 2D/3D 关键点标签的目标数据集上训练。我们的方法在 Waymo Open Dataset 上的弱监督设定中以多达 ∼13% 的优势超越 SOTA 结果，并在监督设定中取得 SOTA 结果。
引用
@article{arxiv.2307.14889,
title = {Weakly Supervised Multi-Modal 3D Human Body Pose Estimation for Autonomous Driving},
author = {Peter Bauer and Arij Bouazizi and Ulrich Kressel and Fabian B. Flohr},
journal= {arXiv preprint arXiv:2307.14889},
year = {2023}
}
备注
7 pages, Accepted at IEEE-IV 2023