基于外部注意力学习自适应节点选择的人类互动识别

大多数基于 GCN 的方法将交互个体建模为独立图，忽略其内在的相互依赖性。虽然最近的研究方法利用预定义的交互邻接矩阵来整合参与者，但这些矩阵无法适应性地捕获不同动作中动态且情境特定的联合互动。在本文中，我们提出了一种创新方法：Active Node Selection with External Attention Network (ASEA)，通过无需预设假设地动态捕获交互关系。我们的方法对每个参与者使用 GCN 来捕获内在关系，促进对其动作的详细表征。为识别交互建模的最相关节点，我们引入了自适应时空节点振幅计算 (Adaptive Temporal Node Amplitude Calculation, AT-NAC) 模块，通过结合空间运动幅度和自适应时序加权来估计全局节点活动，从而突出显著运动模式，同时减少无关或冗余信息。定义一个受正则化约束的可学习阈值，以选择性地识别用于交互建模的最有信息的节点。为捕获交互，我们设计了外部注意力 (External Attention, EA) 模块作用于活跃节点，有效地对个体之间的交互动力学和语义关系进行建模。广泛的评估表明，我们的方法更有效、更灵活地捕获交互关系，实现了最先进的性能。