探索老年人在与虚拟教练交互中的情绪表达识别
计算机视觉与模式识别
2024-10-28 v1 人机交互
机器学习
摘要
EMPATHIC 项目旨在设计一种具有情绪表现力的虚拟教练，能够吸引健康老年人以改善福祉并促进独立老龄化。该系统的核心方面之一是其人类感知能力，从而能够感知情绪状态以提供个性化体验。本文概述了虚拟教练情绪表达识别模块的开发，涵盖数据采集、标注设计以及一种初步方法，均根据项目需求定制。基于此，我们研究了在此背景下各种模态单独及组合对于离散情绪表达识别的作用：来自音频的语音，以及来自视频的面部表情、注视和头部动态。所采集的语料库包括来自西班牙、法国和挪威的用户，并针对音频和视频通道分别用不同的情绪标签进行标注，从而允许跨文化与标签类型的性能比较。结果证实了所研究模态对于所考虑情绪类别的信息量，多模态方法通常优于其他方法（音频标签下约 68% 准确率，视频标签下 72-74%）。这些发现有望为应用于人机对话交互中老年人的情绪识别这一有限文献做出贡献。
引用
@article{arxiv.2311.05567,
title = {Exploring Emotion Expression Recognition in Older Adults Interacting with a Virtual Coach},
author = {Cristina Palmero and Mikel deVelasco and Mohamed Amine Hmani and Aymen Mtibaa and Leila Ben Letaifa and Pau Buch-Cardona and Raquel Justo and Terry Amorese and Eduardo González-Fraile and Begoña Fernández-Ruanova and Jofre Tenorio-Laranga and Anna Torp Johansen and Micaela Rodrigues da Silva and Liva Jenny Martinussen and Maria Stylianou Korsnes and Gennaro Cordasco and Anna Esposito and Mounim A. El-Yacoubi and Dijana Petrovska-Delacrétaz and M. Inés Torres and Sergio Escalera},
journal= {arXiv preprint arXiv:2311.05567},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication