面向遥感移动物体的高质量交互式分割：ROS-SAM
计算机视觉与模式识别
2025-03-18 v1
摘要
大规模遥感视频数据的可用性凸显了高质量交互式分割的重要性。然而，由于小目标尺寸、模糊特征和有限的泛化性，当前方法难以实现此目标。在本 work 中，我们提出了 ROS-SAM，旨在实现高质量的交互式分割，同时保持跨多样遥感数据的泛化能力。ROS-SAM 基于三个关键创新：1）基于 LoRA 的微调，使能够在保持 SAM 泛化能力的同时实现高效的领域适应；2）增强深度网络层以提高提取特征的判别性，从而减少误分类；3）将全局上下文与局部边界细节集成到掩码解码器中，以生成高质量分割掩码。此外，我们设计了数据管道，以确保模型在训练时学习处理不同尺度对象的能力，同时在推理时专注于高质量预测。遥感视频数据集上的实验表明，重新设计的数据管道将 IoU 提高了 6%，而 ROS-SAM 将 IoU 提高了 13%。最后，在评估现有遥感对象跟踪数据集时，ROS-SAM 显示出惊人的零样性能，生成的掩码与手动注释几乎完全一致。这些结果确认了 ROS-SAM 作为遥感应用中精细分割强大的工具。代码已公开于 https://github.com/ShanZard/ROS-SAM。
引用
@article{arxiv.2503.12006,
title = {ROS-SAM: High-Quality Interactive Segmentation for Remote Sensing Moving Object},
author = {Zhe Shan and Yang Liu and Lei Zhou and Cheng Yan and Heng Wang and Xia Xie},
journal= {arXiv preprint arXiv:2503.12006},
year = {2025}
}
备注
Accepted to CVPR 2025