情绪漫步：利用层次化注意力池化与情感映射从步态感知情绪

我们提出一种基于自编码器的半监督方法，用于从视频或动作捕捉数据获取的行走风格中分类所感知的人类情绪，这些行走风格表示为3D姿态序列。给定从3D姿态序列提取的每个时间步姿态中每个关节的运动，我们在编码器中按照人体运动链自底向上层次化地池化这些关节运动。我们还将编码器的潜在嵌入约束为包含步态背后心理学驱动的情感特征空间。我们训练解码器从潜在嵌入以自顶向下方式重建每个时间步每个关节的运动。对于已标注数据，我们还训练一个分类器将潜在嵌入映射到情绪标签。我们的半监督方法在Emotion-Gait基准数据集上取得0.84的平均精度均值，该数据集包含来自多个来源的已标注与未标注步态。在绝对数值上，我们在3D步态的情绪识别与动作识别上均优于当前最先进算法7%–23%。更重要的是，在各自占Emotion-Gait基准数据集标注部分不到25%的类别上，我们将平均精度在绝对数值上提升了10%–50%。