用于情感计算的基于视觉的肢体手势元特征

心理困扰的早期检测是有效治疗的关键。对诸如抑郁症等困扰的自动检测是一个活跃的研究领域。当前方法利用声音、面部和肢体模态。其中，肢体模态研究最少，部分由于从视频中提取肢体表示的困难，部分由于可行数据集的缺乏。现有肢体模态方法使用表情的自动分类将身体语言表示为一系列特定表情，类似于自然语言中的词语。在本论文中，我在肢体模态内提出一种新类型的特征，表示手势的元信息（如速度），并用其预测非临床抑郁标签。这与现有工作的不同在于将整体行为表示为从人运动导出的少量聚合元特征。在我的方法中，我从视频中提取姿态估计，检测身体部位内的手势，从个体手势提取元信息，最终聚合这些特征以生成用于预测任务的少量特征向量。我引入了一个包含 65 段访谈视频记录的新数据集，带有自我评估的困扰、人格与人口统计标签。该数据集使得在困扰检测任务中利用全身开发特征成为可能。我评估了新引入的元特征在预测抑郁、焦虑、感知压力、躯体压力、五种标准人格测量与性别上的表现。使用这些特征的基于线性回归的分类器在我新颖的数据集上取得了 82.70% 的抑郁预测 F1 分数。