因果模式复用器：一种用于无偏多光谱行人检测的新框架
计算机视觉与模式识别
2024-04-08 v2
摘要
RGBT 多光谱行人检测已成为需要昼夜操作的安全关键应用的一种有前景的解决方案。然而，由于多光谱行人检测器学习了数据集中的统计偏差，模态偏差问题仍未解决。具体而言，多光谱行人检测的数据集主要分布在 ROTO（白天）和 RXTO（夜间）数据之间；大多数行人标签在统计上与热特征共现。因此，多光谱行人检测器在超出这种统计相关性的样本（如 ROTX 数据）上表现出较差的泛化能力。为解决这一问题，我们提出了一种新的因果模式复用器 (CMM) 框架，该框架能有效学习多光谱输入与预测之间的因果关系。此外，我们构建了一个新数据集 (ROTX-MP) 以评估多光谱行人检测中的模态偏差。ROTX-MP 主要包含先前数据集中未出现的 ROTX 样本。大量实验表明，我们提出的 CMM 框架在现有数据集（KAIST、CVC-14、FLIR）和新数据集 ROTX-MP 上均具有良好的泛化能力。我们将公开我们的新数据集以供未来研究使用。
引用
@article{arxiv.2403.01300,
title = {Causal Mode Multiplexer: A Novel Framework for Unbiased Multispectral Pedestrian Detection},
author = {Taeheon Kim and Sebin Shin and Youngjoon Yu and Hak Gu Kim and Yong Man Ro},
journal= {arXiv preprint arXiv:2403.01300},
year = {2024}
}
备注
CVPR2024