卫星影像中的可发现性:一句好句胜千图
计算机视觉与模式识别
2020-01-17 v1 计算与语言
机器学习
机器学习
摘要
小型卫星星座提供对地球陆地的每日全球覆盖,但图像增强依赖于自动化关键任务,如变化检测或特征搜索。例如,从原始像素提取文本标注需要两个依赖的机器学习模型,一个用于分析俯视图像,另一个用于生成描述性标题。我们在先前最大的卫星图像标题基准上评估了七个模型。我们将标注图像样本扩充五倍,随后对词汇进行增强、修正和剪枝,以接近一种粗略的 min-max(最少词、最大描述)。该结果优于先前使用大型预训练图像模型的工作,但模型规模缩减百倍且不牺牲整体精度(以 log entropy loss 衡量)。这些较小模型提供了新的部署机会,尤其在推至边缘处理器、星载卫星或分布式地面站时。为量化标题的描述性,我们引入一种新颖的多类混淆或误差矩阵,以对人工标注的测试数据和从未标注但含边界框检测、缺完整句子标题的图像进行评分。本工作提出了未来的标题生成策略,特别是能丰富超出土地利用应用的类别覆盖,并减少以颜色为中心和邻接形容词("green"、"near"、"between" 等)的策略。许多现代语言 transformer 提出了新颖且可利用的模型,其从庞大在线语料库训练中获得世界知识。一个有趣但简单的例子可能学习风与浪之间的词关联,从而用超越仅颜色描述(否则可能无需文本标注而从原始像素获取)的内容丰富海滩场景。
引用
@article{arxiv.2001.05839,
title = {Discoverability in Satellite Imagery: A Good Sentence is Worth a Thousand Pictures},
author = {David Noever and Wes Regian and Matt Ciolino and Josh Kalin and Dom Hambrick and Kaye Blankenship},
journal= {arXiv preprint arXiv:2001.05839},
year = {2020}
}