面向细粒度遥感图像分割的知识传递与域适应
计算机视觉与模式识别
2025-01-15 v3
摘要
细粒度遥感图像分割对于准确识别遥感图像中的详细对象至关重要。最近，基于大规模数据集预训练的视觉转换模型（VTM）显示出强大的零样例泛化能力。然而，直接将其应用于特定任务可能导致域迁移。我们引入一种新型的端到端学习范式，结合知识引导与域细化，以提升性能。我们提出了两个关键组件：特征对齐模块（FAM）和特征调制模块（FMM）。FAM 通过通道转换和空间插值，将基于 CNN 的特征与预训练 VTM 编码器的特征对齐，并通过 KL 散度和 L2 归一化约束进行知识传递。FMM 进一步将知识适应到特定域，以解决域迁移问题。我们还引入了一个细粒度草地分割数据集，并通过在两个数据集上的实验表明，该方法在草地数据集上实现了 2.57 mIoU 的显著提升，在云数据集上实现了 3.73 mIoU 的提升。结果凸显了结合知识传递与域适应以克服域相关挑战和数据限制的潜力。项目页面可在 https://xavierjiezou.github.io/KTDA/ 查看。
引用
@article{arxiv.2412.06664,
title = {Knowledge Transfer and Domain Adaptation for Fine-Grained Remote Sensing Image Segmentation},
author = {Shun Zhang and Xuechao Zou and Kai Li and Congyan Lang and Shiying Wang and Pin Tao and Tengfei Cao},
journal= {arXiv preprint arXiv:2412.06664},
year = {2025}
}
备注
6 pages, 3 figures, 6 tables