用于互动作识别的交互关系网络

人与人互动作识别（也称为交互识别）是人体活动分析的一个重要研究分支。该领域当前的解决方案——主要由 CNN、GCN 和 LSTM 主导——通常包含复杂的架构与机制，以在架构本身上嵌入两个人的关系，从而确保交互模式能够被正确学习。我们这项工作的主要贡献是提出了一种更简单却非常强大的架构，称为交互关系网络（Interaction Relational Network, IRN），其利用关于人体结构的极少先验知识。我们驱动网络自行识别如何关联交互个体的身体部位。为了更好地表示交互，我们定义了两种不同的关系，并针对每种关系设计了专门的架构与模型。这些多关系模型随后将被融合进一个单一且特殊的架构中，以利用两条信息流进一步增强关系推理能力。此外，我们定义了重要的结构化成对操作，以从每对关节中提取有意义的额外信息——距离与运动。最终，结合 LSTM，我们的 IRN 能够进行极为重要的序列关系推理。我们对网络所做的这些重要扩展，对于其他需要复杂关系推理的问题也具有重要价值。我们的方案在传统交互识别数据集 SBU 和 UT 上，以及大规模数据集 NTU RGB+D 中的互动作上，均能达到最先进的性能。此外，它在 NTU RGB+D 120 数据集的交互子集上取得了具有竞争力的性能。