基于二维骨架热图与多模态融合的动作分割
计算机视觉与模式识别
2024-04-29 v3
摘要
本文提出一种基于二维骨架的动作分割方法,可应用于细粒度人体活动识别。与直接以三维骨架坐标序列为输入并应用图卷积网络(GCNs)进行时空特征学习的最先进方法不同,我们的主要思路是以二维骨架热图序列为输入,并采用时间卷积网络(TCNs)提取时空特征。尽管缺乏三维信息,我们的方法在动作分割数据集上取得了可比或更优的性能,且对关键点缺失具有比先前方法更好的鲁棒性。此外,我们通过同时使用二维骨架热图与RGB视频作为输入进一步提升了性能。据我们所知,这是首项利用二维骨架热图输入的工作,也是首项探索二维骨架+RGB融合用于动作分割的工作。
引用
@article{arxiv.2309.06462,
title = {Action Segmentation Using 2D Skeleton Heatmaps and Multi-Modality Fusion},
author = {Syed Waleed Hyder and Muhammad Usama and Anas Zafar and Muhammad Naufil and Fawad Javed Fateh and Andrey Konin and M. Zeeshan Zia and Quoc-Huy Tran},
journal= {arXiv preprint arXiv:2309.06462},
year = {2024}
}
备注
Accepted to ICRA 2024