SeafloorAI：用于海底地质调查的大规模视觉-语言数据集
计算机视觉与模式识别
2024-11-08 v2 机器学习
摘要
机器学习模型在海洋科学领域取得进展的主要障碍，特别是在声纳图像分析方面，是AI就绪数据集的匮乏。虽然已有努力使AI就绪的声纳图像数据集公开可用，但它们在环境设置和规模方面存在局限性。为了弥补这一差距，我们引入了SeafloorAI，这是第一个跨越5个地质层的广泛AI就绪数据集，由海洋科学家合作整理。我们进一步通过加入语言组件将数据集扩展为SeafloorGenAI，以促进开发既能处理视觉又能处理语言的机器学习模型用于声纳图像。该数据集包含62个地理分布的数据调查，覆盖17,300平方公里，包含696K个声纳图像、827K个标注分割掩码、696K个详细语言描述和约700万个问答对。通过公开我们的数据处理源代码，我们旨在吸引海洋科学界丰富数据池，并激励机器学习界开发更强大的模型。这种协作方法将增强我们数据集在两个领域内的能力和应用。
引用
@article{arxiv.2411.00172,
title = {SeafloorAI: A Large-scale Vision-Language Dataset for Seafloor Geological Survey},
author = {Kien X. Nguyen and Fengchun Qiao and Arthur Trembanis and Xi Peng},
journal= {arXiv preprint arXiv:2411.00172},
year = {2024}
}