基于潜在扩散模型的多属性引导热红外人脸图像翻译

现代监控系统越来越依赖多波长传感器和深度神经网络来识别夜间拍摄的红外图像中的人脸。然而，大多数人脸识别模型是在可见光数据集上训练的，由于显著的域偏移，导致在红外输入上的性能大幅下降。早期基于特征的红外人脸识别方法被证明效果不佳，这促使研究人员采用生成式方法，将红外图像转换为可见光图像以提高识别性能。这种被称为异质人脸识别（HFR）的范式面临着模型和模态差异等挑战，导致生成图像中的失真和特征丢失。为了解决这些局限性，本文引入了一种新颖的基于潜在扩散的模型，旨在从热红外输入生成高质量的可见光人脸图像，同时保留关键的身份特征。我们引入了一个多属性分类器，从可见光图像中提取关键的面部属性，以减轻红外到可见光图像恢复过程中的特征丢失。此外，我们提出了Self-attn Mamba模块，该模块增强了跨模态特征的全局建模能力，并显著提高了推理速度。在两个基准数据集上的实验结果证明了我们方法的优越性，在图像质量和身份保留方面均达到了最先进的性能。