中文

MarineVRS:基于语义理解且具有可解释性的海洋视频检索系统

计算机视觉与模式识别 2023-06-08 v1 信息检索

摘要

构建一个稳健可靠的视频检索系统,尤其是针对海洋环境,是一项具有挑战性的任务,原因包括处理海量密集且重复的数据、遮挡、模糊、低光照条件以及抽象查询等诸多因素。为应对这些挑战,我们提出 MarineVRS,一种专为海洋领域设计的新型灵活视频检索系统。MarineVRS 集成了最先进的视觉与语言对象表示方法,以实现对大量水下视频数据的高效准确检索与分析。此外,不同于仅允许用户索引图像或视频集合并使用自由形式自然语言句子进行搜索的传统视频检索系统,我们的检索系统包含一个额外的可解释性模块,该模块输出输入查询所指对象的分割掩码。此功能使用户能够识别并隔离视频画面中的特定对象,从而对其行为与运动进行更细致的分析与理解。最后,凭借其适应性、可解释性、准确性和可扩展性,MarineVRS 是海洋研究人员和科学家高效准确地处理海量数据并深入洞察海洋物种行为与运动的强大工具。

关键词

引用

@article{arxiv.2306.04593,
  title  = {MarineVRS: Marine Video Retrieval System with Explainability via Semantic Understanding},
  author = {Tan-Sang Ha and Hai Nguyen-Truong and Tuan-Anh Vu and Sai-Kit Yeung},
  journal= {arXiv preprint arXiv:2306.04593},
  year   = {2023}
}

备注

Accepted to OCEANS 2023 Limerick. Website: https://marinevrs.hkustvgd.com/