利用热传感器辅助标签生成用于生理评估的热成像人脸
计算机视觉与模式识别
2023-08-08 v1
摘要
热图像揭示了关于人压力、炎症迹象和情绪心境的医学重要生理信息，这些信息在可见光图像上不可见。提供一种从可见光图像生成热人脸的方法，对远程医疗界展示此类医学信息将极具价值。据我们所知，关于可见光到热（VT）人脸转换的工作有限，且许多当前工作走向相反方向，即从热监视图像生成可见光人脸（TV）以用于执法应用。因此，我们引入 favtGAN，一种 VT GAN，它使用 pix2pix 图像转换模型并带有一个辅助传感器标签预测网络，用于从可见光图像生成热人脸。由于大多数 TV 方法仅在来自单一热传感器的一个数据源上训练，我们结合了人脸与城市场景数据集。这些组合数据由相似传感器捕获，以引导训练与迁移学习任务，在可见光-热人脸数据集有限的情况下尤为有价值。在这些组合数据集上的实验表明，与仅在单人脸数据集上训练相比，favtGAN 生成的熱人脸在 SSIM 和 PSNR 分数上均有提升。
引用
@article{arxiv.2106.08091,
title = {Generating Thermal Human Faces for Physiological Assessment Using Thermal Sensor Auxiliary Labels},
author = {Catherine Ordun and Edward Raff and Sanjay Purushotham},
journal= {arXiv preprint arXiv:2106.08091},
year = {2023}
}