基于人体关键点与 Seq2Seq 架构的跌倒预测
计算机视觉与模式识别
2019-09-02 v2
摘要
本文提出一种从单目视频中提前预测人员跌倒的新方法。首先，检测并跟踪观测帧中的所有人员，同时提取其身体关键点坐标。利用关键点向量化方法消除初始坐标表示中的无关信息。然后，将每个人的观测关键点序列输入改编自序列到序列（seq2seq）架构的姿势预测模块，以预测未来关键点序列。最后，由跌倒分类器分析预测姿势，判断该人未来是否会跌倒。姿势预测模块与跌倒分类器分别训练，并使用 Le2i 数据集联合调优，该数据集包含 191 段各类正常日常活动及多名演员表演的跌倒视频。与主流基于原始 RGB 的模型对比实验显示了利用身体关键点进行跌倒分类的准确率提升。此外，通过有无姿势预测模块的模型对比，证明了跌倒预认知的有效性。
引用
@article{arxiv.1908.00275,
title = {Falls Prediction Based on Body Keypoints and Seq2Seq Architecture},
author = {Minjie Hua and Yibing Nan and Shiguo Lian},
journal= {arXiv preprint arXiv:1908.00275},
year = {2019}
}
备注
Accepted by HBU 2019 (ICCV Workshop)