MAC：面向目标检测的模态校准
计算机视觉与模式识别
2023-10-17 v1 多媒体
机器人学
摘要
深度神经网络（DNN）在 RGB 输入感知任务上的蓬勃发展开启了非 RGB 输入感知任务（如来自无线信号、激光雷达扫描和红外图像的目标检测）的无限可能。相较于已成熟的 RGB 输入（源模态）模型开发流程，从零开发非 RGB 输入（目标模态）模型在模态专用网络设计/训练技巧以及目标模态标注上带来过多挑战。本文提出模态校准（MAC），一种将目标模态输入校准到基于 RGB（源）模态开发的 DNN 目标检测模型的高效流程。我们通过在源模态模型前添加一个小型校准器模块来构成目标模态输入模型，并引入 MAC 训练技术以对校准器施加稠密监督。通过利用（1）从源模态模型合成的先验知识，以及（2）零人工标注的配对 {目标, 源} 数据，我们的目标模态模型达到了与需要 100% 人工标注的基线模型相当或更优的指标。我们分别基于预训练的 RGB 输入模型构建 WiFi 输入、激光雷达输入和热红外输入模型，展示了 MAC 的有效性。
引用
@article{arxiv.2310.09461,
title = {MAC: ModAlity Calibration for Object Detection},
author = {Yutian Lei and Jun Liu and Dong Huang},
journal= {arXiv preprint arXiv:2310.09461},
year = {2023}
}