随处借用：热成像中的伪多模态目标检测
计算机视觉与模式识别
2020-07-16 v2
摘要
我们能否通过从视觉RGB等丰富域借用特征来改进热域中的检测？在本文中，我们提出了一种在自然图像域数据上训练的伪多模态目标检测器，以帮助提升热图像中目标检测的性能。我们假设可获取视觉RGB域的大规模数据集与热域中相对较小的数据集（就实例而言），正如当今常见的情况。我们提出使用知名的图像到图像翻译框架来生成给定热图像的伪RGB等价图像，随后使用多模态架构进行热图像中的目标检测。我们展示了我们的框架优于现有基准，且无需来自两个域的显式配对训练样本。我们还展示了我们的框架在使用我们的方法时能用更少的热域数据进行学习。我们的代码与预训练模型已在 https://github.com/tdchaitanya/MMTOD 上公开。
引用
@article{arxiv.1905.08789,
title = {Borrow from Anywhere: Pseudo Multi-modal Object Detection in Thermal Imagery},
author = {Chaitanya Devaguptapu and Ninad Akolekar and Manuj M Sharma and Vineeth N Balasubramanian},
journal= {arXiv preprint arXiv:1905.08789},
year = {2020}
}
备注
Accepted at Perception Beyond Visible Spectrum Workshop, CVPR 2019