Visual ChatGPT 在遥感领域的潜力
计算机视觉与模式识别
2023-07-06 v2 图像与视频处理
摘要
自然语言处理（NLP）特别是大语言模型（LLMs）的最新进展，结合基于深度学习的计算机视觉技术，已展现出自动化多种任务的巨大潜力。其中一个引人注目的模型是 Visual ChatGPT，它将 ChatGPT 的 LLM 能力与视觉计算相结合，以实现有效的图像分析。该模型基于文本输入处理图像的能力可彻底改变诸多领域。然而，其在遥感领域的应用仍未被探索。本文是第一篇考察 Visual ChatGPT（一种基于 GPT 架构的前沿 LLM）应对遥感领域相关图像处理方面的潜力的论文。在其当前能力中，Visual ChatGPT 可生成图像的文本描述、执行 Canny 边缘与直线检测，以及进行图像分割。这些为图像内容提供了有价值的洞察，并促进了信息的解读与提取。通过在公开可用的卫星图像数据集上探索这些技术的适用性，我们展示了当前模型在处理遥感图像时的局限性，强调了其挑战与未来前景。尽管仍处于早期发展阶段，我们相信 LLM 与视觉模型的结合具有变革遥感图像处理的重大潜力，并在该领域创造可及且实用的应用机会。
引用
@article{arxiv.2304.13009,
title = {The Potential of Visual ChatGPT For Remote Sensing},
author = {Lucas Prado Osco and Eduardo Lopes de Lemos and Wesley Nunes Gonçalves and Ana Paula Marques Ramos and José Marcato Junior},
journal= {arXiv preprint arXiv:2304.13009},
year = {2023}
}