基于金字塔图卷积网络理解人物-物体交互中的时空关系

人类活动识别是智能机器人中的重要任务，尤其是在人机协作领域，要求不仅识别子活动标签，还需识别活动的时序结构。为自动识别人物-物体交互序列中的标签及时序结构，我们提出了一种新型金字塔图卷积网络（PGCN），其采用基于注意力的图卷积网络和时序金字塔池化模块构成的层级编码-解码架构，分别用于在时序轴上进行下采样和上采样交互序列。该系统将来自视频数据检测结果中表示的2D或3D人物与物体的空间关系表示为图。为学习人物-物体关系，训练了一种新的注意力图卷积网络，以从图表示中提取浓缩信息。为将活动分割为子活动，提出了一种新的时序金字塔池化模块，该模块将压缩特征上采样回原始时间尺度，并按帧对活动进行分类。我们探索了各种注意力层，包括空间注意力、时间注意力和通道注意力，并组合不同的上采样解码器以测试在活动识别和分割方面的性能。在人物-物体交互识别领域的两个具有挑战性的数据集上进行评估，即Bimanual Actions和IKEA Assembly数据集。我们展示了我们的分类器在帧级活动识别和分割方面显著提高，例如在Bimanual Actions数据集上F1 micro和F1@50分数分别提高了$4.3\%$和$8.5\%$。