当可见光到热红外人脸 GAN 击败条件扩散模型
计算机视觉与模式识别
2023-08-08 v1 人工智能
图像与视频处理
摘要
热红外人脸图像通过探测红外光谱中发射的、在可见光谱中不可见的辐射，为诸如炎症和压力等生理状态提供了有价值的洞察。远程医疗应用可受益于热红外图像，但传统计算机依赖 RGB 摄像头且缺乏热红外传感器。因此，我们提出了可见光到热红外人脸 GAN（Visible-to-Thermal Facial GAN, VTF-GAN），该模型专门设计用于通过学习跨光谱的人脸区域空间域和频率域来生成高分辨率热红外人脸。我们将 VTF-GAN 与几种流行的 GAN 基线以及首个用于可见光到热红外人脸转换的条件去噪扩散概率模型（VTF-Diff）进行了比较。结果表明，与包括扩散模型在内的所有基线相比，VTF-GAN 通过结合使用图像块损失、温度损失、感知损失和傅里叶变换损失，生成了高质量、清晰且在感知上逼真的热红外人脸。
引用
@article{arxiv.2302.09395,
title = {When Visible-to-Thermal Facial GAN Beats Conditional Diffusion},
author = {Catherine Ordun and Edward Raff and Sanjay Purushotham},
journal= {arXiv preprint arXiv:2302.09395},
year = {2023}
}