用于热成像的自训练引导对抗域自适应
计算机视觉与模式识别
2021-06-15 v1 机器学习
摘要
在大规模 RGB 图像数据集上训练的深度模型已取得巨大成功。将这些深度模型应用于现实世界问题十分重要。然而，这些模型在光照变化下存在性能瓶颈。热红外相机对此类变化更为鲁棒，因而对现实世界问题非常有用。为探究结合特征丰富的可见光谱与热图像模态的有效性，我们提出了一种无需 RGB 到热图像对的无人监督域自适应方法。我们采用大规模 RGB 数据集 MS-COCO 作为源域，热图像数据集 FLIR ADAS 作为目标域来展示本方法的结果。尽管对抗域自适应方法旨在对齐源域与目标域的分布，但简单地对齐分布无法保证对目标域的完美泛化。为此，我们提出了一种自训练引导的对抗域自适应方法，以提升对抗域自适应方法的泛化能力。为执行自训练，对目标热域上的样本赋予伪标签，以学习更具泛化性的目标域表示。大量实验分析表明，我们所提方法优于当前最优的对抗域自适应方法。代码与模型已公开可用。
引用
@article{arxiv.2106.07165,
title = {Self-training Guided Adversarial Domain Adaptation For Thermal Imagery},
author = {Ibrahim Batuhan Akkaya and Fazil Altinel and Ugur Halici},
journal= {arXiv preprint arXiv:2106.07165},
year = {2021}
}
备注
Accepted to CVPR 2021 Perception Beyond the Visible Spectrum (PBVS) workshop