MTReD：用于航海域飞掠视频的 3D 重建数据集
摘要
本工作聚焦于航海域视频飞掠视角的 3D 场景重建问题，特别强调几何和视觉上恰当的重建。这将允许进行分割、导航和定位等下游任务。目前尚无此领域的数据集可用。因此，我们提出了新的航海 3D 场景重建基准数据集，命名为 MTReD（Maritime Three-Dimensional Reconstruction Dataset，航海三维重建数据集）。MTReD 包含 19 个从互联网上精选的飞掠视频，包含船舶、岛屿和海岸线。由于该任务旨在实现几何一致性和视觉完整性，数据集使用两种指标：（1）重新投影误差；（2）基于感知的指标。我们发现现有的基于感知的指标，如基于学习的感知图像补丁相似性（Learned Perceptual Image Patch Similarity, LPIPS），不恰当地衡量重建图像的完整性。因此，我们提出了一种新的语义相似度指标，利用 DINOv2 特征构成的 DiFPS（DinoV2 Features Perception Similarity，DINOv2 特征感知相似性）。我们对两种基线进行初始评估：（1）通过 Colmap 的结构化运动（Structured from Motion, SfM）；（2）最新的 MASt3R 模型。我们发现 MASt3R 重建的场景具有更高的重新投影误差，但在感知指标得分方面优于。为此，我们探索了一些预处理方法，发现一种预处理方法能够同时改善重新投影误差和感知得分。我们设想，所提出的 MTReD 将激励进一步的研究。数据集和所有代码将公开于 https://github.com/RuiYiYong/MTReD。
引用
@article{arxiv.2503.00853,
title = {MTReD: 3D Reconstruction Dataset for Fly-over Videos of Maritime Domain},
author = {Rui Yi Yong and Samuel Picosson and Arnold Wiliem},
journal= {arXiv preprint arXiv:2503.00853},
year = {2025}
}
备注
WACV Workshop 2025 - 3rd Workshop on Maritime Computer Vision (MaCVI2025)