用于洪水范围制图的交叉模态蒸馏
计算机视觉与模式识别
2023-02-17 v1 机器学习
摘要
洪水强度与频率的上升是我们气候变化的诸多后果之一。本工作中，我们探索可改进业务化早期洪水预警系统洪水检测模块的机器学习技术。我们的方法利用配对的多元光谱与合成孔径雷达（SAR）影像的无标签数据集，以降低纯监督学习方法的标注需求。已有工作通过从中生成弱标签来使用无标签数据。然而，我们从实验中发现此类模型仍会学到那些弱标签中的标注错误。受知识蒸馏与半监督学习启发，我们探索借助小型人工标注数据集与大型无标签数据集，利用教师模型训练学生模型。不同于常规自蒸馏设置，我们提出一种交叉模态蒸馏框架，将监督从在更丰富模态（多元光谱图像）上训练的教师迁移到在 SAR 影像上训练的学生模型。随后在 Sen1Floods11 数据集上测试所训练模型。我们的模型在测试集上以绝对优势超出基于弱标签 SAR 影像训练的 Sen1Floods11 基线模型 6.53% 的交并比（IoU）。
引用
@article{arxiv.2302.08180,
title = {Cross Modal Distillation for Flood Extent Mapping},
author = {Shubhika Garg and Ben Feinstein and Shahar Timnat and Vishal Batchu and Gideon Dror and Adi Gerzi Rosenthal and Varun Gulshan},
journal= {arXiv preprint arXiv:2302.08180},
year = {2023}
}