利用含噪监督解耦人体动力学以进行行人运动预测
计算机视觉与模式识别
2020-04-15 v2 机器学习
机器人学
摘要
我们解决了人体运动预测（Human Locomotion Forecasting）问题，该任务旨在以自我中心视角在近期未来联合预测人体若干关键点的空间位置。与以往孤立地解决姿态预测或轨迹预测任务的工作不同，我们提出一个框架来统一这两个问题，并解决实际应用中极具价值的野外行人运动预测任务。解决该任务的主要挑战之一是缺乏带有姿态、深度或自运动密集标注的自我中心视频数据集。为克服这一困难，我们使用最先进的模型生成（含噪）标注，并提出能够从这种含噪监督中学习的鲁棒预测模型。我们提出一种方法，通过利用姿态补全模块和分解模块，将整体行人运动解耦为更易学习的子部分。补全模块填补缺失的关键点标注，分解模块将清理后的运动分解为全局（轨迹）和局部（姿态关键点运动）。此外，我们以 Quasi RNN 为骨干，提出一种新颖的分层轨迹预测网络，该网络利用自运动和深度等低级视觉领域特定信号来预测全局轨迹。我们的方法在自我中心视角下的人体运动预测上取得了最先进（state-of-the-art）的结果。项目页面：https://karttikeya.github.io/publication/plf/
引用
@article{arxiv.1911.01138,
title = {Disentangling Human Dynamics for Pedestrian Locomotion Forecasting with Noisy Supervision},
author = {Karttikeya Mangalam and Ehsan Adeli and Kuan-Hui Lee and Adrien Gaidon and Juan Carlos Niebles},
journal= {arXiv preprint arXiv:1911.01138},
year = {2020}
}
备注
Accepted to WACV 2020 (Oral)