CalibNet：用于 RGB-D 显著实例分割的双分支跨模态校准网络
计算机视觉与模式识别
2024-06-12 v2
摘要
我们提出一种使用称为 CalibNet 的双分支跨模态特征校准架构进行 RGB-D 显著实例分割的新方法。我们的方法同时在核分支与掩码分支中对深度与 RGB 特征进行校准，以生成实例感知核与掩码特征。CalibNet 由三个简单模块组成：动态交互核（DIK）与权重共享融合（WSF），它们协同工作以生成有效的实例感知核并整合跨模态特征。为提升深度特征质量，我们在 DIK 与 WSF 之前引入深度相似性评估（DSA）模块。此外，我们进一步贡献了一个新的 DSIS 数据集，包含 1,940 张具有精细实例级标注的图像。在三个具挑战性基准上的大量实验表明，CalibNet 取得了令人鼓舞的结果，即在 COME15K-N 测试集上以 320*480 输入尺寸达到 58.0% AP，显著超越其他对比框架。我们的代码与数据集可见于：https://github.com/PJLallen/CalibNet。
引用
@article{arxiv.2307.08098,
title = {CalibNet: Dual-branch Cross-modal Calibration for RGB-D Salient Instance Segmentation},
author = {Jialun Pei and Tao Jiang and He Tang and Nian Liu and Yueming Jin and Deng-Ping Fan and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2307.08098},
year = {2024}
}
备注
This work has been accepted by TIP 2024