EVOKE：基于优化知识蒸馏的情绪赋能虚拟化身映射

随着虚拟环境的不断进步，对沉浸式且富有情感感染力的体验的需求日益增长。为满足这一需求，我们提出了 EVOKE（Emotion enabled Virtual avatar mapping using Optimized KnowledgE distillation），一个轻量级情绪识别框架，旨在将情绪识别无缝集成到虚拟环境中的 3D 化身上。我们的方法利用知识蒸馏，在公开可用的 DEAP 数据集上进行多标签分类，该数据集涵盖效价、唤醒度和优势度作为主要情绪类别。值得注意的是，我们蒸馏得到的模型是一个仅含两个卷积层的 CNN，其参数量比教师模型少 18 倍，却取得了具有竞争力的结果，准确率达到 87%，同时所需的计算资源大大减少。这种性能与可部署性之间的平衡使我们的框架成为虚拟环境系统的理想选择。此外，多标签分类的结果被用于将情绪映射到定制设计的 3D 化身上。