TNTC：基于 Transformer 互补性的双流网络用于基于步态的情感识别
计算机视觉与模式识别
2021-10-27 v1
摘要
从视觉特征自动识别人类情感在许多智能应用中起着至关重要的作用。近来，基于步态的情感识别，尤其是基于步态骨架的特征，已引起广泛关注，同时多种可用方法逐渐被提出。流行流程是先从关节骨架提取情感特征，再将骨架关节与情感特征聚合作为分类情感的特征向量。然而，这些涌现方法的聚合过程可能较为生硬，导致未能充分利用骨架关节与情感特征间的互补关系。同时，步态序列在空间与时域上的长距离依赖甚少被考虑。为解决这些问题，我们提出一种新颖的基于 Transformer 互补性的双流网络，称为 TNTC。骨架关节与情感特征分别编码为两幅独立图像作为双流输入。提出一种新的基于 Transformer 的互补模块（TCM），通过捕获长距离依赖分层桥接双流间互补性。实验结果表明，TNTC 在最新数据集上准确率优于最先进方法。
引用
@article{arxiv.2110.13708,
title = {TNTC: two-stream network with transformer-based complementarity for gait-based emotion recognition},
author = {Chuanfei Hu and Weijie Sheng and Bo Dong and Xinde Li},
journal= {arXiv preprint arXiv:2110.13708},
year = {2021}
}