标签类型对基于 overhead 影像训练 SWIN 模型的影响
计算机视觉与模式识别
2023-10-12 v1
摘要
理解数据集设计对模型训练与性能的影响，有助于降低生成遥感与 overhead 标注数据的成本。本文研究了使用边界框与分割标签（后者生成成本更高）训练移位窗口（shifted window）变换器的影响。我们通过比较使用目标与背景共同训练的模型和使用仅由分割标签提取的目标像素训练的模型，考察分类任务。对于目标检测模型，我们比较了使用任一种标签类型训练时的性能。我们发现仅使用目标像素训练的模型在分类任务中未显现性能提升，似乎将评估集中的背景像素与目标像素混淆。对于目标检测，我们发现使用任一种标签类型训练的模型在测试中表现相当。我们发现边界框对于不需要更复杂标签（如目标分割）的任务似乎已足够。持续开展以确定该结果跨数据类型与模型架构一致性的工作，可能为生成深度学习遥感数据集带来显著节省。
引用
@article{arxiv.2310.07572,
title = {Impact of Label Types on Training SWIN Models with Overhead Imagery},
author = {Ryan Ford and Kenneth Hutchison and Nicholas Felts and Benjamin Cheng and Jesse Lew and Kyle Jackson},
journal= {arXiv preprint arXiv:2310.07572},
year = {2023}
}