利用持续熵与神经网络在说话人脸视频中进行情感识别
计算机视觉与模式识别
2024-03-14 v1 代数拓扑
摘要
对人体情绪状态的自动识别已成为一个非常活跃的研究领域，涉及人工智能、计算机视觉或心理学等不同领域的科学家。我们在本工作中的主要目标是开发一种新方法，以持续熵和神经网络为主要工具，从说话人脸视频中识别和分类情感。具体而言，我们结合音频信号和图像序列信息，为每个视频计算一个拓扑签名（一个 9 维向量）。我们证明视频中的微小变化会在签名中产生微小变化。这些拓扑签名被用于馈入一个神经网络，以区分以下情感：中性、平静、高兴、悲伤、愤怒、恐惧、厌恶和惊讶。所取得的结果具有前景且具竞争力，优于文献中其他现有最优工作的性能。
引用
@article{arxiv.2110.13571,
title = {Emotion recognition in talking-face videos using persistent entropy and neural networks},
author = {Eduardo Paluzo-Hidalgo and Guillermo Aguirre-Carrazana and Rocio Gonzalez-Diaz},
journal= {arXiv preprint arXiv:2110.13571},
year = {2024}
}