STEP：用于从步态感知情绪的空间时序图卷积网络
计算机视觉与模式识别
2024-11-26 v3 机器人学
摘要
我们提出一种称为STEP的新型分类器网络，基于空间时序图卷积网络（ST-GCN）架构，从步态分类所感知的人体情绪。给定一段个人行走的RGB视频，我们的方法隐式利用步态特征将人的情绪状态分类为四种情绪之一：高兴、悲伤、愤怒或中性。我们使用数百段标注的真实世界步态视频，并利用一种称为STEP-Gen的新型生成网络（构建于基于ST-GCN的条件变分自编码器（CVAE）之上）生成的数千段标注合成步态对其进行扩充。我们在STEP-Gen的CVAE公式中引入一种新颖的推拉正则化损失，以生成逼真步态并提升STEP的分类准确率。我们还发布了一个新型数据集（E-Gait），包含 段标注了感知情绪的人体步态以及数千段合成步态。实践中，STEP能够学习情感特征，在E-Gait上达到89%的分类准确率，比先前方法准确率高14%至30%。
引用
@article{arxiv.1910.12906,
title = {STEP: Spatial Temporal Graph Convolutional Networks for Emotion Perception from Gaits},
author = {Uttaran Bhattacharya and Trisha Mittal and Rohan Chandra and Tanmay Randhavane and Aniket Bera and Dinesh Manocha},
journal= {arXiv preprint arXiv:1910.12906},
year = {2024}
}
备注
11 pages, 7 figures, 1 table