用于彩色到红外跨模态风格迁移的元学习

近期用于红外(IR)图像的目标检测模型基于深度神经网络(DNNs),并且需要大量带标注的训练图像。然而,可用于此类训练的公开数据集在规模与多样性上均有限。为解决这个问题,我们探索跨模态风格迁移(CMST),以利用大规模且多样的彩色图像数据集,从而可用于训练基于 DNN 的红外图像目标检测器。我们在四个公开可用的红外数据集上评估了六种当代风格化方法——这是同类中的首次比较——并发现 CMST 对于基于 DNN 的检测器极为有效。令人惊讶的是,我们发现现有的数据驱动方法被一种简单的灰度风格化(颜色通道的平均值)所超越。我们的分析揭示,现有的数据驱动方法要么过于简单,要么向图像中引入了显著的伪影。为克服这些局限,我们提出元学习风格迁移(MLST),其通过组合与调优性质良好的解析函数来学习风格化。我们发现 MLST 能带来更复杂的风格化且不引入显著的图像伪影,并在我们的基准数据集上取得了最佳的整体检测器性能。