中文

基于对比学习和循环一致性的直推式迁移学习用于目标标注

计算机视觉与模式识别 2024-11-22 v1 人工智能 机器学习 图像与视频处理 机器学习

摘要

自动目标识别(ATR)的标注是一项极具挑战性的任务,主要原因是目标域中缺乏已标注数据。因此,利用源域图像的标注信息来构建一个最优的目标域分类器至关重要。文献中先前已提出一种结合了基于 CycleGAN 的非配对域翻译网络的直推式迁移学习(TTL)方法,用于有效的 ATR 标注。尽管该方法展现了 ATR 的巨大潜力,但它严重受限于较低的标注性能、较高的 Fréchet Inception Distance(FID)分数以及合成图像中存在视觉伪影。为了解决这些问题,我们提出了一种混合对比学习基础的非配对域翻译(H-CUT)网络,该网络实现了显著更低的 FID 分数。它结合了注意力和熵以强调域特定区域,一个噪声特征混合模块以生成高变异的合成负样本块,以及一个调制噪声对比估计(MoNCE)损失,利用最优传输重新加权所有负样本块以获得更好的性能。我们提出的基于对比学习和循环一致性的 TTL(C3TTL)框架由两个 H-CUT 网络和两个分类器组成。它同时优化循环一致性、MoNCE 和恒等损失。在 C3TTL 中,通过双射映射使用两个 H-CUT 网络,将重建的源域图像馈送到一个预训练的分类器中,以指导最优的目标域分类器。在三个 ATR 数据集上进行的大量实验分析表明,所提出的 C3TTL 方法在标注民用和军用车辆以及舰船目标方面是有效的。

关键词

引用

@article{arxiv.2401.12340,
  title  = {Contrastive Learning and Cycle Consistency-based Transductive Transfer Learning for Target Annotation},
  author = {Shoaib Meraj Sami and Md Mahedi Hasan and Nasser M. Nasrabadi and Raghuveer Rao},
  journal= {arXiv preprint arXiv:2401.12340},
  year   = {2024}
}

备注

This Paper is Accepted in IEEE TRANSACTIONS ON AEROSPACE AND ELECTRONIC SYSTEMS. This Arxiv version is an older version than the reviewed version