Tree-GPT：面向森林遥感图像理解与交互式分析的模块化大语言模型专家系统
计算机视觉与模式识别
2023-10-10 v1
摘要
本文提出了一种新颖的框架 Tree-GPT，将大语言模型（LLMs）引入林业遥感数据工作流，从而提升数据分析效率。当前，LLMs 无法从图像中提取或理解信息，且可能因缺乏领域知识而生成不准确文本，限制了其在林业数据分析中的应用。为解决该问题，我们提出了一种模块化 LLM 专家系统 Tree-GPT，其集成了图像理解模块、领域知识库与工具链。该系统赋予 LLMs 以图像理解、获取准确知识、生成代码以及在本地环境中执行数据分析的能力。具体而言，图像理解模块通过自动或交互式生成提示词来引导 Segment Anything Model（SAM）生成并筛选最优的树木分割结果，从而从森林遥感图像中提取结构化信息。随后系统基于这些结果计算树木结构参数并存入数据库。接收到特定自然语言指令后，LLM 基于思维链生成代码以完成分析任务，该代码由 LLM agent 在本地环境中执行。对于生态参数计算，系统从知识库检索相应知识并输入 LLM 以引导生成准确代码。我们在若干任务（包括检索、可视化与机器学习分析）上测试了该系统，原型系统表现良好，展示了 LLMs 在林业研究与环境科学中动态应用的潜力。
引用
@article{arxiv.2310.04698,
title = {Tree-GPT: Modular Large Language Model Expert System for Forest Remote Sensing Image Understanding and Interactive Analysis},
author = {Siqi Du and Shengjun Tang and Weixi Wang and Xiaoming Li and Renzhong Guo},
journal= {arXiv preprint arXiv:2310.04698},
year = {2023}
}