从太空分割一切？

近期，首个专为图像分割任务开发的基础模型被提出，称为“Segment Anything Model”（SAM）。SAM 可基于廉价输入提示（如一个（或多个）点、边界框或掩码）分割输入图像中的对象。作者在一大量视觉基准任务上考察了 SAM 的零样本图像分割精度，发现 SAM 通常达到与在目标任务上训练过的视觉模型相似、有时甚至超越的识别精度。SAM 在分割上的惊人泛化对从事自然图像研究的视觉研究者有重大启示。本工作中，我们考察 SAM 的性能是否延伸至俯视图像问题，并助力引导学界对其发展的回应。我们在一组多样且被广泛研究的基准任务上考察 SAM 的性能。我们发现 SAM 确实常能很好泛化至俯视图像，但在某些情况下因俯视图像及其常见目标对象的独特特性而失败。我们报告了这些遥感图像中独特的系统性失败案例，或可作为学界未来研究的有用方向。