YH-MINER：用于自然生态礁指标提取的多模态智能系统
计算机视觉与模式识别
2025-05-30 v2 定量方法
摘要
珊瑚礁对维持海洋生物多样性和生态过程（如营养循环、栖息地提供）至关重要，但其面临日益加剧的威胁，凸显了高效监测的必要性。珊瑚礁生态监测面临人工分析效率低下和复杂水下场景分割精度不足的双重挑战。本研究开发了 YH-MINER 系统，建立了一个以多模态大模型（MLLM）为中心的“目标检测-语义分割-先验输入”智能框架。该系统使用目标检测模块（[email protected]=0.78）生成珊瑚实例的空间先验框，驱动分割模块在低光和密集遮挡场景下完成像素级分割。分割掩码和微调后的分类指令作为先验输入被送入基于 Qwen2-VL 的多模态模型，实现了 88% 的属级分类准确率，并同时提取核心生态指标。同时，该系统通过标准化接口保留了多模态模型的可扩展性，为未来集成到基于多模态智能体的水下机器人中奠定了基础，并支持“图像采集-先验生成-实时分析”的全流程自动化。
引用
@article{arxiv.2505.22250,
title = {YH-MINER: Multimodal Intelligent System for Natural Ecological Reef Metric Extraction},
author = {Mingzhuang Wang and Yvyang Li and Xiyang Zhang and Fei Tan and Qi Shi and Guotao Zhang and Siqi Chen and Yufei Liu and Lei Lei and Ming Zhou and Qiang Lin and Hongqiang Yang},
journal= {arXiv preprint arXiv:2505.22250},
year = {2025}
}