基于3D人体关键点的行人横穿动作识别与轨迹预测
计算机视觉与模式识别
2023-06-05 v1 人工智能
机器学习
机器人学
摘要
准确理解与预测人类行为是自动驾驶车辆的关键前提，尤其在密集城区交叉口等高度动态与交互场景中。本工作中，我们旨在识别横穿行人和预测其未来轨迹。为实现这些目标，我们既需要道路几何与其他交通参与者的上下文信息，也需要可从人体关键点推断的关于人体姿态、运动与活动的细粒度信息。本文提出一种新颖的多任务学习框架，用于行人横穿动作识别与轨迹预测，其利用从原始传感器数据提取的3D人体关键点来捕获人体姿态与活动的丰富信息。此外，我们提出应用两个辅助任务与对比学习，以启用辅助监督来改进所学关键点表示，进而提升主任务性能。我们在大规模内部数据集及公开基准数据集上验证方法，表明我们的方法在广泛评估指标上达到最先进（SOTA）性能。各模型组件的有效性在详细消融研究中得到验证。
引用
@article{arxiv.2306.01075,
title = {Pedestrian Crossing Action Recognition and Trajectory Prediction with 3D Human Keypoints},
author = {Jiachen Li and Xinwei Shi and Feiyu Chen and Jonathan Stroud and Zhishuai Zhang and Tian Lan and Junhua Mao and Jeonhyung Kang and Khaled S. Refaat and Weilong Yang and Eugene Ie and Congcong Li},
journal= {arXiv preprint arXiv:2306.01075},
year = {2023}
}
备注
ICRA 2023