基于肌肉运动与面部流形嵌入的视频（隐藏）情绪检测
计算机视觉与模式识别
2022-11-02 v1 人工智能
机器学习
摘要
我们提出了一种非侵入式、易于大规模扩展至大量受试者且可远程访问的方法，用于从人脸视频中检测（隐藏）情绪。我们的方法结合面部流形检测以在视频中精确定位人脸，并利用局部面部流形嵌入构建一个用于肌肉微运动测量的公共域，该域对视频中受试者的运动具有不变性。接下来，我们采用数字图像散斑相关（DISC）与光流算法来计算面部微运动的模式。相应的矢量场被映射回原始空间并叠加在视频的原始帧上。因此，所得视频包含了关于面部肌肉运动方向的额外信息。我们采用公开可用的 CK++ 可见情绪数据集，并为其添加相同格式但含隐藏情绪的视频。我们使用微运动检测处理所有视频，并利用结果训练一种最先进的视频情绪分类网络——帧注意力网络（FAN）。尽管原始 FAN 模型在原始 CK++ 视频上取得了极高的样本外性能，但其在隐藏情绪视频上表现不佳。当模型在带有肌肉运动矢量场的视频上训练和测试时，性能显著提升。直观上，相应的箭头充当了图像中的边缘，易被 FAN 网络中的卷积滤波器捕获。
引用
@article{arxiv.2211.00233,
title = {Detection of (Hidden) Emotions from Videos using Muscles Movements and Face Manifold Embedding},
author = {Juni Kim and Zhikang Dong and Eric Guan and Judah Rosenthal and Shi Fu and Miriam Rafailovich and Pawel Polak},
journal= {arXiv preprint arXiv:2211.00233},
year = {2022}
}