FathomGPT：用于交互式探索海洋科学数据的自然语言界面
人机交互
2024-12-05 v1 人工智能
摘要
我们介绍了 FathomGPT，这是一个开源系统，通过自然语言界面进行海洋科学数据交互式调查。FathomGPT 是在海洋科学家的密切合作下开发的，旨在使研究人员能够探索和分析 FathomNet 图像数据库。FathomGPT 提供了定制的信息检索管道，利用 OpenAI 的大语言模型实现：创建复杂查询以检索图像、分类学信息和科学测量值；将常见名称和形态特征映射到科学名称；即时生成交互式图表；以及按图像或指定图像内模式搜索。在设计 FathomGPT 时，特别强调了通过促进自由形式的探索和优化响应时间来提升用户体验。我们 present了 FathomGPT 的体系结构概览和实现细节，以及一系列消化研究，展示了该方法在名称解析、微调和提示修改方面的有效性。我们还展示了交互式数据探索会话的使用场景，并记录了海洋科学家和机器学习专家的反馈。
引用
@article{arxiv.2412.02784,
title = {FathomGPT: A Natural Language Interface for Interactively Exploring Ocean Science Data},
author = {Nabin Khanal and Chun Meng Yu and Jui-Cheng Chiu and Anav Chaudhary and Ziyue Zhang and Kakani Katija and Angus G. Forbes},
journal= {arXiv preprint arXiv:2412.02784},
year = {2024}
}
备注
The first two authors contributed equally to this work. Accepted to the 37th Annual ACM Symposium on User Interface Software and Technology (UIST 2024)