T2V-DDPM：基于去噪扩散概率模型的红外热成像到可见光人脸图像翻译
计算机视觉与模式识别
2022-09-20 v1
摘要
现代监控系统利用基于深度学习的人脸验证网络进行人员识别。大多数最先进的人脸验证系统使用可见光谱图像训练。但在弱光和夜间条件下获取可见光谱图像并不现实，图像常在如热红外域等替代域中捕获。热图像中的人脸验证通常通过检索对应的可见域图像来执行。这是一个公认的问题，常被称为热到可见（T2V）图像翻译。本文中，我们提出一种基于去噪扩散概率模型（DDPM）的 T2V 翻译解决方案，专用于人脸图像。训练期间，模型通过扩散过程学习给定对应热图像的可见人脸图像的条件分布。推理期间，可见域图像从高斯噪声出发并反复去噪获得。现有的 DDPM 推理过程随机且耗时。因此，我们提出一种新颖的推理策略以加速 DDPM 的推理时间，专门针对 T2V 图像翻译问题。我们在多个数据集上取得了最先进的结果。代码与预训练模型公开于 http://github.com/Nithin-GK/T2V-DDPM
引用
@article{arxiv.2209.08814,
title = {T2V-DDPM: Thermal to Visible Face Translation using Denoising Diffusion Probabilistic Models},
author = {Nithin Gopalakrishnan Nair and Vishal M. Patel},
journal= {arXiv preprint arXiv:2209.08814},
year = {2022}
}
备注
Accepted at The IEEE conference series on Automatic Face and Gesture Recognition 2023