MSC: 具备 grounded 分割与片段级描述的海洋野生动物视频数据集
计算机视觉与模式识别
2025-09-03 v3 人工智能
多媒体
摘要
海洋视频因海洋物体动态、周围环境以及摄像机运动及水下场景的复杂性，给视频理解带来了显著挑战。现有视频描述数据集通常聚焦于通用或以人为中心的领域，难以适应海洋环境的复杂性并洞察海洋生物。为此，我们提出了一种基于海洋物体的两阶段视频描述管线。我们引入了综合性的视频理解基准数据集，利用视频、文本和分割掩码的三元组，促进视觉定位与描述，提高海洋视频理解与分析能力，并支持海洋视频生成。此外，我们强调视频分割在检测显著物体转变（尤其是场景变化中的显著转变）方面的有效性，这大大丰富了描述内容的语义。我们的数据集和代码已发布于 https://msc.hkustvgd.com。
引用
@article{arxiv.2508.04549,
title = {MSC: A Marine Wildlife Video Dataset with Grounded Segmentation and Clip-Level Captioning},
author = {Quang-Trung Truong and Yuk-Kwan Wong and Vo Hoang Kim Tuyen Dang and Rinaldi Gotama and Duc Thanh Nguyen and Sai-Kit Yeung},
journal= {arXiv preprint arXiv:2508.04549},
year = {2025}
}
备注
Published at ACMMM2025 (Dataset track)