谱迁移引导的主动域适应方法用于热成像

可见光波段数据集的利用已使深度网络取得显著成功。然而，真实世界任务包含低光照条件，这给在大规模RGB图像数据集上训练的模型带来了性能瓶颈。热红外相机对此类条件更为鲁棒。因此，在真实世界应用中使用热成像可能是有益的。无监督域适应（UDA）允许将信息从源域迁移到完全无标签的目标域。尽管UDA取得了实质性改进，其与有监督学习对应方法之间的性能差距仍然显著。主动域适应通过挑选少量目标样本进行标注并在训练中使用，试图以最小的标注代价缓解这一差距。我们提出一种主动域适应方法，以考察结合可见光波段与热成像模态的效率。当域差距如可见光到热成像任务中那样相当大时，我们可以得出结论：缺乏显式域对齐的方法无法发挥其全部潜力。为此，我们提出一种谱迁移引导的主动域适应方法，在对齐源域与目标域的同时选择信息量最大的无标签目标样本。我们使用大规模可见光波段数据集MS-COCO作为源域，热成像数据集FLIR ADAS作为目标域来展示我们方法的结果。大量实验评估表明，我们提出的方法优于最先进的主动域适应方法。代码与模型已公开可用。