AGAR：用于可变形物体点云自适应运动预测的注意力图-RNN
计算机视觉与模式识别
2023-07-20 v1 多媒体
摘要
本文关注可变形三维物体（如人体运动）这一具有挑战性情形下的点云序列运动预测。首先，我们考察此类表示中由可变形形状与复杂运动所引起的挑战，旨在理解最先进模型的技术局限。基于该理解，我们提出了一种改进的可变形三维物体点云预测架构。具体而言，为处理可变形形状，我们提出一种基于图的方法，学习并利用点云的空间结构以提取更具代表性的特征。随后我们提出一个模块，能够根据点云运动以自适应方式组合所学特征。该自适应模块控制每个点的局部与全局运动合成，使网络能更有效地建模可变形三维物体中的复杂运动。我们在以下数据集上测试了所提方法：MNIST 运动数字、Mixamo 人体运动、JPEG 与 CWIPC-SXR 真实世界动态人体。仿真结果表明，鉴于其更强的复杂运动建模能力与点云形状保持能力，我们的方法优于当前基线方法。此外，我们通过在 MSRAction3D 数据集上测试该框架用于动作识别并取得与最先进方法相当的结果，展示了所提动态特征学习框架的泛化性。
引用
@article{arxiv.2307.09936,
title = {AGAR: Attention Graph-RNN for Adaptative Motion Prediction of Point Clouds of Deformable Objects},
author = {Pedro Gomes and Silvia Rossi and Laura Toni},
journal= {arXiv preprint arXiv:2307.09936},
year = {2023}
}