面向近红外面部表情识别的随机微分方程多能量引导图像翻译
计算机视觉与模式识别
2023-12-12 v1 人工智能
人机交互
摘要
光照变化一直是现实世界面部表情识别（FER）中的一个长期挑战。在非受控或非可见光条件下，近红外（NIR）能够提供简单且替代性的方案，以获取高质量图像，并补充可见域中缺失的几何与纹理细节。由于缺乏现有的大规模 NIR 面部表情数据集，直接将 VIS FER 方法扩展到 NIR 光谱可能无效。此外，先前的异构图像合成方法由于缺乏先验任务知识而受限于低可控性。为解决这些问题，我们提出了一种称为 NIR-FER 随机微分方程（NFER-SDE）的首个方法，该方法在异构模态之间转换面部表情外观，以应对小规模 NIR 数据上的过拟合问题。NFER-SDE 能够将整张 VIS 源图像作为输入，并结合特定领域知识，引导图像高频内容中模态不变信息的保留。大量实验与消融研究表明，NFER-SDE 显著提升了 NIR FER 的性能，并在仅有的两个可用 NIR FER 数据集 Oulu-CASIA 和 Large-HFE 上取得了最先进的结果。
引用
@article{arxiv.2312.05908,
title = {Multi-Energy Guided Image Translation with Stochastic Differential Equations for Near-Infrared Facial Expression Recognition},
author = {Bingjun Luo and Zewen Wang and Jinpeng Wang and Junjie Zhu and Xibin Zhao and Yue Gao},
journal= {arXiv preprint arXiv:2312.05908},
year = {2023}
}