基于语义条件零样本感知与对抗自编码器从手势学习未见情感
计算机视觉与模式识别
2021-12-03 v2
摘要
我们提出了一种新颖的广义零样本算法，用于从手势中识别感知到的情感。我们的任务是将手势映射到训练时未遇到的情感新类别。我们引入了一种对抗的、基于自编码器的表示学习，利用 word2vec 嵌入将三维动作捕捉手势序列与自然语言感知情感词的向量化表示相关联。语言语义嵌入提供了情感标签空间的表示，我们利用这一底层分布将手势序列映射到适当的类别情感标签。我们使用带有已知情感词标注的手势以及未标注任何情感的手势组合来训练我们的方法。我们在 MPI 情感身体表达数据库（EBEDB）上评估了我们的方法，取得了 的准确率。这相较当前最先进的广义零样本学习算法在绝对准确率上提升了 --。
引用
@article{arxiv.2009.08906,
title = {Learning Unseen Emotions from Gestures via Semantically-Conditioned Zero-Shot Perception with Adversarial Autoencoders},
author = {Abhishek Banerjee and Uttaran Bhattacharya and Aniket Bera},
journal= {arXiv preprint arXiv:2009.08906},
year = {2021}
}