从任意模态检测显著物体

为实现理想的显著性预测，显著物体检测（SOD）算法的输入类型和数量在许多实际应用场景中可能会动态变化。然而，现有的 SOD 方法主要为特定类型的输入设计或训练，无法推广到其他类型的输入。因此， 需要提前准备更多的 SOD 方法来处理不同类型的输入，这会带来巨大的硬件和研究成本。不同的是，本文提出了一种新的 SOD 任务，称为任意模态 SOD（AM SOD）。AM SOD 的最显著特征是模态类型和模态数量将是任意的或动态变化的。前者意味着 AM SOD 算法的输入可能是任意模态，例如 RGB、深度图或其中的任何组合。后者表明输入的模态数量会随输入类型而变化，例如单模态 RGB 图像、双模态 RGB-Depth（RGB-D）图像或三模态 RGB-Depth-Thermal（RGB-D-T）图像。因此，本文提出了上述挑战的初步解决方案，即一种模态切换网络（MSN）。具体而言，首先设计了一种模态切换特征提取器（MSFE），通过引入一些模态指示符来有效地从每种模态中提取判别特征，这些指示符将为模态切换生成一些权重。随后，提出了一种动态融合模块（DFM），基于一种新颖的 Transformer 结构来自适应地融合来自不同模态数量的特征。最后，构建了一个新的数据集，命名为 AM-XD，以促进 AM SOD 研究。广泛的实验结果表明，我们的 AM SOD 方法能够有效应对输入模态类型和数量的变化，实现稳健的显著物体检测。