基于神经网络气体网络的肢体动作数据合成用于情感识别

在基于身体动作的情感识别领域，主要挑战在于多样且可泛化的数据集匮乏。自动情感识别利用机器学习和人工智能技术，从文本、图像、声音和身体动作等多种数据类型中识别人的情绪状态。身体动作面临独特挑战，因为年龄、性别、种族、个性和疾病等多种因素会影响其外观，导致专门用于情感识别的多样且鲁棒的数据集匮乏。为此，采用合成数据生成(SDG)方法，如生成对抗网络(GANs)和变分自编码器(VAEs)，提供了潜在的解决方案，尽管这些方法通常较为复杂。本研究引入神经网络气体(Neural Gas Network, NGN)算法的新应用，用于合成身体动作数据并优化多样性和生成速度。通过学习骨骼结构拓扑，NGN将神经元或气体粒子拟合到身体关节上。生成的气体粒子随后形成骨骼结构，用于合成新的身体姿态。通过将身体姿态叠加到帧上，最终的合成身体动作得以呈现。我们将生成的数据集与GANs、VAEs及另一种基准算法生成的数据集进行了对比，使用了Fréchet Inception Distance(FID)、多样性(Diversity)等基准指标。此外，我们继续使用准确率、精确率、召回率等分类指标进行评估。提取了关节相关特征或运动学参数，系统评估了模型在未见数据上的性能。我们的发现表明，NGN算法生成了更真实且情感区分度更高的身体动作数据，且生成速度优于现有方法。