迈向可靠的图像外推：基于深度引导学习结构感知的多模态融合
计算机视觉与模式识别
2023-02-17 v2 多媒体
摘要
图像外推技术生成视觉上合理的內容而不顾及其真实性，使其在实际应用中不可靠。因此，我们提出一项可靠图像外推任务，引入来自 LiDAR 的稀疏深度以外推真实的 RGB 场景。LiDAR 的大视场使其可用于数据增强及进一步的多模态任务。具体而言，我们提出一个深度引导外推网络来建模两种模态的不同特征表示并学习结构感知的跨模态融合。设计了两个组件：1) 多模态学习模块从不同模态特性的角度生成独特的深度与 RGB 特征表示。2) 深度引导融合模块利用完整的深度模态通过渐进式多模态特征融合来引导 RGB 内容的建立。此外，我们专门设计了一种由跨模态损失与边缘损失组成的额外约束策略，以增强模糊轮廓并加速可靠内容生成。在 KITTI 和 Waymo 数据集上的大量实验从定量与定性上证明了我们相对于最先进方法的优越性。
引用
@article{arxiv.2204.05543,
title = {Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal Fusion with Depth Guidance},
author = {Lei Zhang and Kang Liao and Chunyu Lin and Yao Zhao},
journal= {arXiv preprint arXiv:2204.05543},
year = {2023}
}