重新审视多模态行人检测中的模态不平衡问题
计算机视觉与模式识别
2023-07-10 v2 人工智能
摘要
多模态学习，尤其是用于行人检测的多模态学习，近年来受到重视，因其能够在多种关键自动驾驶场景（如低光照、夜间和恶劣天气条件）下同样良好地工作。然而，在大多数情况下，训练分布大幅强调某一特定输入的贡献，使网络偏向于一种模态。因此，此类模型的泛化成为一个重要问题：在训练期间的非主导输入模态可能在推理过程中贡献更大。在此，我们在多模态架构中引入一种带正则化项的新颖训练设置，以解决模态间这种差异问题。具体而言，我们的正则化项通过将在训练期间两个特征提取器视为同等重要以提取多模态分布，从而使特征融合方法更鲁棒，这被称为消除不平衡问题。此外，我们输出流的解耦概念通过相互共享空间敏感信息来帮助检测任务。所提方法在 KAIST 和 UTokyo 数据集上的大量实验显示了各自 SOTA（state-of-the-art）性能的改进。
引用
@article{arxiv.2302.12589,
title = {Revisiting Modality Imbalance In Multimodal Pedestrian Detection},
author = {Arindam Das and Sudip Das and Ganesh Sistu and Jonathan Horgan and Ujjwal Bhattacharya and Edward Jones and Martin Glavin and Ciarán Eising},
journal= {arXiv preprint arXiv:2302.12589},
year = {2023}
}
备注
5 pages, 3 figure, 4 tables