一种用于体态情绪识别的广义零样本框架

尽管基于面部表情和语音的自动情绪识别已取得显著进展，但基于身体姿态的情绪识别尚未被充分探索。人们常使用多种肢体语言来表达情绪，难以枚举所有情绪性身体姿态并为每一类收集足够样本。因此，识别新的情绪性身体姿态对于更好地理解人类情绪至关重要。然而，现有方法无法准确判定一个新的身体姿态属于何种情绪状态。为解决该问题，我们引入一种广义零样本学习（Generalized Zero-Shot Learning, GZSL）框架，其由三个分支组成，仅借助语义描述推断新身体姿态的情绪状态。第一分支是基于原型的检测器（Prototype-Based Detector, PBD），用于判断样本是否属于已见身体姿态类别，并给出已见类别样本的预测结果。第二分支是带流形正则化的堆叠自编码器（Stacked AutoEncoder, StAE），利用语义表示预测未见类别的样本。注意上述两分支均面向身体姿态识别。为更好地学习该情绪分类任务的特征表示，我们进一步加入带 softmax 层的情绪分类器作为第三分支。这三分支的输入特征由共享的特征提取网络学习，即带自注意力模块的双向长短期记忆网络（Bidirectional Long Short-Term Memory Networks, BLSTM）。我们将这三分支视为子任务，并采用多任务学习策略进行联合训练。我们的框架在情绪识别数据集上的性能显著优于传统的情绪分类方法与当前最优的零样本学习方法。