学习时空图中用于运动预测的约束动态相关性
计算机视觉与模式识别
2023-06-06 v5
摘要
人体运动预测因复杂的时空特征建模而具挑战性。在所有方法中，图卷积网络（GCNs）因在显式连接建模上的优势而被广泛采用。在 GCN 内，图相关性邻接矩阵驱动特征聚合，是提取预测性运动特征的关键。最先进方法将时空相关性分解为每帧的空间相关性与每关节的时间相关性。直接参数化这些相关性会引入冗余参数以表示所有帧与所有关节共享的共性关系。此外，时空图邻接矩阵对不同运动样本相同，无法反映样本间的对应差异。为克服这两大瓶颈，我们提出动态时空分解图卷积（DSTD-GC），其参数仅为最先进 GC 的 28.6%。DSTD-GC 的关键在于约束动态相关性建模，其将共性静态约束显式参数化为所有帧/关节共享的空间/时间基础邻接矩阵，并通过调整建模函数动态提取每帧/关节的对应差异。对每个样本，共性约束邻接矩阵固定以表示通用运动模式，而提取的差异以特定模式调整补全矩阵。同时，我们将时空图上的 GC 数学重构为统一形式，并发现 DSTD-GC 放宽了其他 GC 的某些约束，这有助于更好的表示能力。通过将 DSTD-GC 与先验知识结合，我们提出一种强大的时空 GCN 称为 DSTD-GCN，其预测精度优于 SOTA 方法 ，参数减少 。
引用
@article{arxiv.2204.01297,
title = {Learning Constrained Dynamic Correlations in Spatiotemporal Graphs for Motion Prediction},
author = {Jiajun Fu and Fuxing Yang and Yonghao Dang and Xiaoli Liu and Jianqin Yin},
journal= {arXiv preprint arXiv:2204.01297},
year = {2023}
}
备注
Accepted by TNNLS. Codes are available at https://github.com/Jaakk0F/DSTD-GCN