InfoGCN++：通过预测未来进行表征学习以实现基于在线人体骨骼的动作识别

基于骨骼的动作识别近期取得显著进展，InfoGCN 等模型展现出卓越准确率。然而，这些模型存在一个关键局限：它们需在分类前观测完整动作，这限制了其在监控与机器人系统等实时场景中的适用性。为克服该障碍，我们提出 InfoGCN++，一种 InfoGCN 的创新扩展，专为基于在线骨骼的动作识别而开发。InfoGCN++ 增强了原始 InfoGCN 模型的能力，允许实时对动作类型分类，且与观测序列长度无关。它通过从当前及预期未来运动学习，超越传统方法，从而创建对整个序列更充分的表示。我们将预测问题作为基于已观测动作的外推问题来处理。为此，InfoGCN++ 引入神经常微分方程（Neural Ordinary Differential Equations），使其能有效建模隐藏状态的连续演化。在三个基于骨骼的动作识别基准上的严格评估表明，InfoGCN++ 在在线动作识别中表现优异。它持续持平或超越现有技术，凸显其在重塑实时动作识别应用格局上的巨大潜力。因此，本工作代表相较 InfoGCN 的重大飞跃，推进了基于在线骨骼的动作识别的可能性边界。InfoGCN++ 的代码已公开于 https://github.com/stnoah1/infogcn2 以供进一步探索与验证。