LLDif：低光照情感识别的扩散模型
计算机视觉与模式识别
2024-08-09 v1
摘要
本文提出LLDif，一种面向极暗光（LL）环境的新型基于扩散的面部表情识别（FER）框架。此类条件下采集的图像常因低亮度和显著降低的对比度而受损，给传统方法带来挑战。这些挑战包括图像质量差，可能显著降低情感识别的准确性。LLDif通过一种新颖的两阶段训练过程来解决这些问题，该过程结合了标签感知CLIP（LA-CLIP）、嵌入先验网络（PNET）以及擅长处理暗光图像噪声的Transformer网络。第一阶段涉及LA-CLIP生成联合嵌入先验分布（EPD），以指导LLformer进行标签恢复。第二阶段，扩散模型（DM）细化EPD推断，利用EPD的紧凑性进行精确预测。在各种暗光-FER数据集上的实验评估表明，LLDif取得了具有竞争力的性能，突显了其在具有挑战性光照条件下增强FER应用的潜力。
引用
@article{arxiv.2408.04235,
title = {LLDif: Diffusion Models for Low-light Emotion Recognition},
author = {Zhifeng Wang and Kaihao Zhang and Ramesh Sankaranarayana},
journal= {arXiv preprint arXiv:2408.04235},
year = {2024}
}
备注
Accepted by ICPR2024