Micron-BERT：基于 BERT 的面部微表情识别
计算机视觉与模式识别
2023-04-07 v1
摘要
微表情识别是情感计算中最具挑战性的课题之一。其旨在识别人类在短暂时间（即 0.25 至 0.5 秒）内难以察觉的微小面部运动。近期，预训练深度双向 Transformer（BERT）的进展显著改进了计算机视觉中的自监督学习任务。然而，视觉问题中标准的 BERT 被设计为仅从完整图像或视频中学习，该架构无法准确检测面部微表情的细节。本文提出 Micron-BERT（μ-BERT），一种用于面部微表情识别的新方法。所提方法基于两个关键思想以无监督方式自动捕捉这些运动。首先，我们采用对角微注意力（DMA）来检测两帧之间的微小差异。其次，我们引入一种新的兴趣块（PoI）模块来定位并高亮微表情兴趣区域，同时降低噪声背景与干扰。通过将这些组件整合进端到端深度网络，所提 μ-BERT 在各种微表情任务中显著优于以往所有工作。μ-BERT 可在大规模无标签数据集（即多达 800 万张图像）上训练，并在新的未见面部微表情数据集上取得高准确率。实证实验表明，μ-BERT 在 SAMM、CASME II、SMIC 和 CASME3 四个微表情基准上以显著优势持续优于最先进（state-of-the-art）性能。代码将发布于 \url{https://github.com/uark-cviu/Micron-BERT}
引用
@article{arxiv.2304.03195,
title = {Micron-BERT: BERT-based Facial Micro-Expression Recognition},
author = {Xuan-Bac Nguyen and Chi Nhan Duong and Xin Li and Susan Gauch and Han-Seok Seo and Khoa Luu},
journal= {arXiv preprint arXiv:2304.03195},
year = {2023}
}
备注
Accepted by CVPR2023