基于光流与 EVM 的多流卷积神经网络微表情识别
计算机视觉与模式识别
2020-11-11 v2 图像与视频处理
摘要
微表情（ME）识别在广泛应用尤其是公共安全与心理治疗中起着关键作用。近来，传统方法过度依赖机器学习设计，且因其持续时间短、强度低，识别率不足以满足实际应用。另一方面，一些基于深度学习的方法也因数据库不平衡等问题而无法获得高准确率。为解决这些问题，本文设计了一种用于微表情识别的多流卷积神经网络（MSCNN）。具体而言，我们利用 EVM 与光流对微表情中的细微运动变化进行放大与可视化，并从光流图像中提取掩码。随后，我们将掩码、光流图像与灰度图像输入 MSCNN。之后，为克服数据库不平衡，我们在神经网络的 Dense Layer 后加入随机过采样器。最后，在两个公开微表情数据库 CASME II 与 SAMM 上进行了大量实验。与许多近期 SOTA 方法相比，我们的方法取得了更有前景的识别结果。
引用
@article{arxiv.2011.03756,
title = {A Multi-stream Convolutional Neural Network for Micro-expression Recognition Using Optical Flow and EVM},
author = {Jinming Liu and Ke Li and Baolin Song and Li Zhao},
journal= {arXiv preprint arXiv:2011.03756},
year = {2020}
}
备注
ICEIC 2020, Barcelona, Spain, January 2020