CSDNet：轻量级跨浅层与深层感知网络用于深度-热图像显著物检测
计算机视觉与模式识别
2024-03-18 v1
摘要
尽管我们享受到多模态数据的数据丰富性和信息性，但这也带来了信息的干扰和冗余。为实现有限资源下的最佳域解释，我们提出 CSDNet，即轻量级 Cross Shallow and Deep Perception Network，用于集成两个模态信息不够一致的模态，从而消除冗余信息甚至舍弃某一模态。我们在机器人感知中的显著物检测（SOD）任务上实现了 CSDNet。该方法利用空间信息预筛选和隐式跨浅层与深层层的一致性导航（针对深度-热（D-T）模态），优先考虑集成而非融合，以最大化场景解释。为进一步提升编码器对较少知晓的 D-T 模态的描述能力，我们还提出 SAMAEP 以引导有效特征映射到通用特征空间。我们的方法在 VDT-2048 数据集上进行测试，利用 D-T 模态在首次实现超越 RGB-T 或 RGB-D 模态的 SOTA 方法后， 以 5.97 倍更快的运行速度和仅需 0.0036 倍更少的 FLOPs 实现了可比性能。展示了 CSDNet 有效集成了 D-T 模态的信息。代码将在接受后发布。
引用
@article{arxiv.2403.10104,
title = {CSDNet: Detect Salient Object in Depth-Thermal via A Lightweight Cross Shallow and Deep Perception Network},
author = {Xiaotong Yu and Ruihan Xie and Zhihe Zhao and Chang-Wen Chen},
journal= {arXiv preprint arXiv:2403.10104},
year = {2024}
}