用于夜间热红外图像彩色化的记忆引导协同注意力
计算机视觉与模式识别
2022-08-08 v1
摘要
夜间热红外（NTIR）图像彩色化，亦称将 NTIR 图像翻译为白天彩色图像（NTIR2DC），是一个有前景的研究方向，可在不利条件（如完全黑暗）下促进人类与智能系统的夜间场景感知。然而，已有方法对小样本类别的彩色化性能较差。此外，降低伪标签中的高置信噪声、解决翻译过程中的图像梯度消失问题仍待探索，且保持边缘在翻译中不被扭曲也具挑战性。为解决上述问题，我们提出一种受人类类比推理机制启发的新型学习框架，称为记忆引导协同注意力生成对抗网络（MornGAN）。具体而言，设计了记忆引导样本选择策略与自适应协同注意力损失，以增强小样本类别的语义保持。此外，我们提出在线语义蒸馏模块以挖掘并精炼 NTIR 图像的伪标签。进一步，引入条件梯度修复损失以减少翻译中的边缘扭曲。在 NTIR2DC 任务上的大量实验表明，所提 MornGAN 在语义保持与边缘一致性上显著优于其他图像到图像翻译方法，从而显著提升目标检测精度。
引用
@article{arxiv.2208.02960,
title = {Memory-Guided Collaborative Attention for Nighttime Thermal Infrared Image Colorization},
author = {Fu-Ya Luo and Yi-Jun Cao and Kai-Fu Yang and Yong-Jie Li},
journal= {arXiv preprint arXiv:2208.02960},
year = {2022}
}
备注
16 pages, 13 figures