稀疏深度视频完成的深度代价射线融合
计算机视觉与模式识别
2024-09-24 v1
摘要
本文提出了一种基于学习的稀疏深度视频完成框架。给定某个视角下的稀疏深度图和彩色图像，我们的方法在深度假设平面上构建代价体。为了有效融合多个视角的序列代价体以提高深度完成质量，我们引入一种基于学习的代价体融合框架，称为 RayFusion，该框架有效利用注意力机制处理相邻代价体中重叠射线的配对。由于利用累积的时间特征统计信息，本文提出的框架在 diverse indoor 和 outdoor 数据集上 consistently 优于或与最先进的方法相当，包括 KITTI 深度完成基准、VOID 深度完成基准和 ScanNetV2 数据集，同时使用更少的网络参数。
引用
@article{arxiv.2409.14935,
title = {Deep Cost Ray Fusion for Sparse Depth Video Completion},
author = {Jungeon Kim and Soongjin Kim and Jaesik Park and Seungyong Lee},
journal= {arXiv preprint arXiv:2409.14935},
year = {2024}
}
备注
19 pages, accepted to ECCV 2024