双人姿态预测的最佳实践
计算机视觉与模式识别
2023-04-13 v1
摘要
协作式人体姿态预测任务旨在根据前几帧中多个交互人物的姿态，预测其未来姿态。由于身体间的运动相关性，预测两个交互中的人而非分别预测每个人，有望获得更好的性能。但该任务迄今基本未被探索。在本文中，我们回顾了人体姿态预测的进展，并深入评估了在双人协作运动预测中表现最佳的单体实践方法。我们的研究证实了频率输入表示、时空可分离且完全可学习的编码 GCN 交互邻接矩阵以及 FC 解码的积极作用。其他单体实践方法无法迁移至双人场景，因此所提出的最佳实践不包含分层身体建模或基于注意力的交互编码。我们进一步提出了一种针对编码器双人空间交互参数的新颖初始化过程，其有益于性能与稳定性。总体而言，我们提出的双人姿态预测最佳实践在最新的 ExPI 数据集上相较 SOTA 取得了 21.9% 的性能提升，其中新颖初始化贡献了 3.5%。参见我们的项目页面 https://www.pinlab.org/bestpractices2body
引用
@article{arxiv.2304.05758,
title = {Best Practices for 2-Body Pose Forecasting},
author = {Muhammad Rameez Ur Rahman and Luca Scofano and Edoardo De Matteis and Alessandro Flaborea and Alessio Sampieri and Fabio Galasso},
journal= {arXiv preprint arXiv:2304.05758},
year = {2023}
}
备注
The 5th IEEE/CVF CVPR Precognition Workshop '23