用于无监督基于骨架动作学习的全局-局部运动 Transformer

我们提出了一种用于骨架运动序列无监督学习任务的新 Transformer 模型。用于无监督基于骨架动作学习的现有 Transformer 模型仅从相邻帧中学习每个关节的瞬时速度，缺乏全局运动信息。因此，该模型在学习全局整体运动注意力以及时间上相距较远的关节的注意力方面存在困难。此外，该模型未考虑人与人之间的交互。为了解决整体运动、长程时间动态以及人与人之间交互的学习问题，我们设计了一种全局和局部注意力机制，其中全局身体运动和局部关节运动相互关注。此外，我们提出了一种新颖的预训练策略——多间隔姿态位移预测，以在不同时间范围内学习全局和局部注意力。所提出的模型成功学习了关节的局部动态，并从运动序列中捕获了全局上下文。我们的模型在代表性基准上以显著优势优于 SOTA 模型。代码可在 https://github.com/Boeun-Kim/GL-Transformer 获取。