MWSIS：基于 2D 框标注的面向自动驾驶的多模态弱监督实例分割
计算机视觉与模式识别
2023-12-19 v4
摘要
实例分割是计算机视觉中的一项基础研究，尤其是在自动驾驶领域。然而，实例分割的手动掩码标注非常耗时且成本高昂。为了解决这个问题，先前的一些工作尝试通过探索 2D 或 3D 框来应用弱监督方式。然而，此前从未有人仅使用 2D 框标注成功同时分割 2D 和 3D 实例，这可以进一步将标注成本降低一个数量级。因此，我们提出了一种名为多模态弱监督实例分割（MWSIS）的新框架，该框架为 2D 和 3D 模态整合了各种细粒度标签生成和校正模块以提高伪标签质量，并提出了一种名为一致性稀疏跨模态监督（CSCS）的新型多模态交叉监督方法，通过响应蒸馏来减少多模态预测的不一致性。特别是，将 3D 主干网络迁移到下游任务不仅提高了 3D 检测器的性能，而且仅使用 5% 的全监督标注就优于全监督实例分割。在 Waymo 数据集上，所提出的框架相较于基线取得了显著提升，在 2D 和 3D 实例分割任务上分别实现了 2.59% mAP 和 12.75% mAP 的提升。代码可在 https://github.com/jiangxb98/mwsis-plugin 获取。
引用
@article{arxiv.2312.06988,
title = {MWSIS: Multimodal Weakly Supervised Instance Segmentation with 2D Box Annotations for Autonomous Driving},
author = {Guangfeng Jiang and Jun Liu and Yuzhi Wu and Wenlong Liao and Tao He and Pai Peng},
journal= {arXiv preprint arXiv:2312.06988},
year = {2023}
}
备注
AAAI2024