基于多损失特征融合与Top Two投票集成决策策略的野外面部表情识别
计算机视觉与模式识别
2024-11-22 v2 人工智能
摘要
野外面部表情识别（FER）是一项受图像质量影响的挑战性任务，已在计算机视觉领域引起广泛关注。目前尚无研究同时采用特征融合与集成策略进行 FER。与以往研究不同，本文同时应用了单一模型内部的特征融合、多网络间的特征融合以及集成策略。本文提出了一种名为 R18+FAML 的新颖单一模型，以及一种名为 R18+FAML-FGA-T2V 的集成模型，以提升野外 FER 的性能。基于 ResNet18（R18）的结构，R18+FAML 结合了内部特征融合与三个使用多损失函数（FAML）的注意力块，以提升特征提取的多样性。为提升 R18+FAML 的性能，我们提出了一种基于遗传算法（FGA）的网络间特征融合方法，其可融合多个网络用于特征提取的卷积核。在 R18+FAML 和 FGA 的基础上，我们提出了一种集成策略，即 Top Two 投票（T2V）以支持 FER 的分类，其能综合考量更多分类信息。结合上述策略，R18+FAML-FGA-T2V 可聚焦于主要的表情感知区域。大量实验表明，我们的单一模型 R18+FAML 和集成模型 R18+FAML-FGA-T2V 在三个具有挑战性的不平衡 FER 数据集 RAF-DB、AffectNet-8 和 AffectNet-7 上分别取得了 和 的准确率，均优于当前最优结果。
引用
@article{arxiv.2311.03478,
title = {Multi Loss-based Feature Fusion and Top Two Voting Ensemble Decision Strategy for Facial Expression Recognition in the Wild},
author = {Guangyao Zhou and Yuanlun Xie and Yiqin Fu and Zhaokun Wang},
journal= {arXiv preprint arXiv:2311.03478},
year = {2024}
}
备注
12 pages, 8 figures