HalluciDet：通过特权信息幻觉化 RGB 模态用于行人检测
计算机视觉与模式识别
2024-03-26 v2 人工智能
摘要
使视觉识别模型适应新领域的一种有力方式是通过图像翻译。然而，常见的图像翻译方法仅关注生成与目标域相同分布的数据。给定一个跨模态应用，例如航拍图像中的行人检测，红外（IR）与可见光（RGB）图像间数据分布存在显著偏移，专注于生成的翻译可能因损失聚焦于任务无关细节而导致性能不佳。在本文中，我们提出 HalluciDet，一种用于目标检测的 IR-RGB 图像翻译模型。它不专注于在 IR 模态上重建原始图像，而是致力于降低 RGB 检测器的检测损失，从而避免了访问 RGB 数据的需要。该模型产生一种新的图像表示，增强了场景中感兴趣的目标并大幅提升了检测性能。我们通过经验将我们的方法与最先进的图像翻译方法及 IR 微调方法进行比较，并表明我们的 HalluciDet 在大多数情况下通过利用预训练 RGB 检测器中编码的特权信息提升了检测准确率。代码：https://github.com/heitorrapela/HalluciDet
引用
@article{arxiv.2310.04662,
title = {HalluciDet: Hallucinating RGB Modality for Person Detection Through Privileged Information},
author = {Heitor Rapela Medeiros and Fidel A. Guerrero Pena and Masih Aminbeidokhti and Thomas Dubail and Eric Granger and Marco Pedersoli},
journal= {arXiv preprint arXiv:2310.04662},
year = {2024}
}
备注
IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2024