探索 GPT-4V 在海洋分析中的边界：初步案例研究

大型语言模型 (LLMs) 已展现出作为通用助手回答各种查询的强大能力。持续发展的多模态大型语言模型 (MLLM) 赋予了 LLMs 感知视觉信号的能力。GPT-4 (Generative Pre-trained Transformers) 的发布在研究界引起了极大兴趣。作为新一代人工智能的焦点，GPT-4V(ison) 在学术界和工业界均展现出了强大的能力。尽管 GPT-4V 取得了显著成功，但探索 MLLMs 在需要特定领域知识和专业背景的特定领域分析（例如海洋分析）中的应用却较少受到关注。在本研究中，我们开展了利用 GPT-4V 进行海洋分析的初步且全面的案例研究。本报告对现有 GPT-4V 进行了系统评估，评估了 GPT-4V 在海洋研究中的表现，同时也为未来 MLLMs 的发展设定了新标准。GPT-4V 的实验结果表明，GPT-4V 生成的响应距离满足海洋专业领域的特定要求仍有较大差距。本研究中使用的所有图像和提示词将在 https://github.com/hkust-vgd/Marine_GPT-4V_Eval 公开获取。