一种用于面部表情识别的跨模态网络
计算机视觉与模式识别
2026-05-07 v1
摘要
融入结构信息的深度神经网络已被广泛应用于面部表情识别任务。然而，这些方法通常依赖层次化信息而非面部属性来完成表情识别。本文提出一种具有强生物学与结构信息的跨模态网络用于面部表情识别（CMNet）。CMNet 能够分别通过整体面部以及左右半脸的面部对称性学习表情信息，以提取互补的面部特征。为避免生物学与结构信息融合产生负面影响，一个显著面部信息精炼模块可获取显著面部表情信息，以提高所得面部表情分类器的稳定性。为减少对单侧面部特征的依赖，设计了一种半脸对齐优化机制，以对齐所学左右半脸的已得表情信息。实验结果表明，CMNet 在面部表情识别任务上优于多种新方法，即 SCN 和 LAENet-SA。代码可在 https://github.com/hellloxiaotian/CMNet 获取。
引用
@article{arxiv.2605.04439,
title = {A cross-modal network for facial expression recognition},
author = {Chunwei Tian and Jingyuan Xie and Qi Zhang and Chao Li and Wangmeng Zuo and Shichao Zhang},
journal= {arXiv preprint arXiv:2605.04439},
year = {2026}
}
备注
Published in IEEE Transactions on Image Processing 2026