瞬息之间：基于事件的情绪识别
图形学
2023-10-09 v1 计算机视觉与模式识别
摘要
我们介绍了一种可穿戴单眼情绪识别设备，以及一种从情绪的部分观测中识别情绪的实时方法，该方法对光照条件变化具有鲁棒性。我们方法的核心是一个受生物启发的基于事件的相机设置和新设计的轻量级尖峰眼情绪网络（SEEN）。与传统相机相比，基于事件的相机具有更高的动态范围（高达 140 dB 对比 80 dB）和更高的时间分辨率。因此，捕获的事件可在具有挑战性的光照条件下编码丰富的时间线索。然而，这些事件缺乏纹理信息，给有效解码时间信息带来问题。SEEN 从两个不同角度解决该问题。首先，我们采用卷积尖峰层以利用尖峰神经网络解码相关时间信息的能力。其次，SEEN 学习从相应的强度帧中提取本质空间线索，并利用一种新颖的权重复制方案在训练和推理期间将空间注意力传递给卷积尖峰层。我们在专门收集的 Single-eye Event-based Emotion（SEE）数据集上广泛验证并展示了方法的有效性。据我们所知，我们的方法是首个利用基于事件的相机和尖峰神经网络的基于眼睛的情绪识别方法。
引用
@article{arxiv.2310.04043,
title = {In the Blink of an Eye: Event-based Emotion Recognition},
author = {Haiwei Zhang and Jiqing Zhang and Bo Dong and Pieter Peers and Wenwei Wu and Xiaopeng Wei and Felix Heide and Xin Yang},
journal= {arXiv preprint arXiv:2310.04043},
year = {2023}
}