SM3Det：用于多模态遥感目标检测的统一模型
计算机视觉与模式识别
2025-11-11 v2 多媒体
摘要
随着遥感技术的快速发展，高分辨率多模态图像已更广泛可用。传统目标检测模型在单个数据集上训练，往往局限于特定成像模态和标注格式，忽略了跨模态的宝贵共享知识，也限制了模型在更通用场景中的适用性。本文提出了一种新任务——多模态数据集与多任务目标检测（M2Det），旨在准确检测水平或倾斜目标。该任务因1）管理多模态建模之间的权衡，2）多任务优化的复杂性而面临挑战。为此，我们建立了基准数据集，提出统一模型SM3Det（Single Model for Multi-Modal datasets and Multi-Task object Detection）。SM3Det利用网格级稀疏混合专家（MoE）主干网络实现联合知识学习，同时保留不同模态的独特特征表示。此外，它集成一致性与同步优化策略，通过动态学习率调整有效处理跨模态和跨任务的学习难度差异。大量实验表明，SM3Det在有效性与通用性方面均优于各专用模型。代码已公开于 https://github.com/zcablii/SM3Det。
引用
@article{arxiv.2412.20665,
title = {SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection},
author = {Yuxuan Li and Xiang Li and Yunheng Li and Yicheng Zhang and Yimian Dai and Qibin Hou and Ming-Ming Cheng and Jian Yang},
journal= {arXiv preprint arXiv:2412.20665},
year = {2025}
}
备注
Accepted as Oral in AAAI 2026