基于时空趋势推理的视频人体姿态与形状估计
计算机视觉与模式识别
2022-10-11 v2 人工智能
摘要
本文提出一种时空趋势推理(STR)网络，用于从视频中恢复人体姿态与形状。以往方法侧重于如何扩展 3D 人体数据集与基于时间的学习以提升精度与时序平滑性。与之不同，我们的 STR 旨在通过时空趋势在非约束环境中学习准确而自然的动作序列，并充分挖掘现有视频数据的时空特征。为此，我们的 STR 分别学习特征在时间维与空间维的表示，以聚焦于更鲁棒的时空特征表示。更具体地，为高效时间建模，我们首先提出时间趋势推理(TTR)模块；TTR 在视频序列内构建时间维的分层残差连接表示，以有效推理时间序列趋势并保留人体信息的有效传播。同时，为增强空间表示，我们设计空间趋势增强(STE)模块，进一步学习激发人体运动信息表示中空间时频域敏感特征。最后，我们引入整合策略以整合与精炼时空特征表示。在大规模公开数据集上的广泛实验表明，我们的 STR 在三个数据集上与 SOTA 方法相比仍具竞争力。我们的代码见 https://github.com/Changboyang/STR.git。
引用
@article{arxiv.2210.03659,
title = {Spatio-temporal Tendency Reasoning for Human Body Pose and Shape Estimation from Videos},
author = {Boyang Zhang and SuPing Wu and Hu Cao and Kehua Ma and Pan Li and Lei Lin},
journal= {arXiv preprint arXiv:2210.03659},
year = {2022}
}
备注
Accepted by BMVC2022