FishDreamer：基于统一图像外推与分割的鱼眼语义补全
计算机视觉与模式识别
2023-04-21 v2 机器人学
图像与视频处理
摘要
本文提出了鱼眼语义补全（FSC）这一新任务，即在鱼眼图像传感器视场（FoV）之外也能推断其密集纹理、结构与语义。鱼眼相机相比普通针孔相机具有更大视场，但其独特的特殊成像模型自然导致图像平面边缘存在盲区。这对于安全关键型应用而言并不理想，因为重要的感知任务（如语义分割）在盲区内变得极具挑战性。先前工作将视场外（out-FoV）外推与视场内（in-FoV）分割分开考虑。然而，我们观察到这两个任务实际上是紧密耦合的。为联合估计紧密交织的完整鱼眼图像与场景语义，我们引入了全新的 FishDreamer，其依托成功的 ViT 并增强以新颖的极坐标感知交叉注意力模块（PCA），在考虑不同极坐标分布的同时利用密集上下文并引导语义一致的内容生成。除新任务与新架构的贡献外，我们还构建了 Cityscapes-BF 与 KITTI360-BF 数据集以支撑该新方向的训练与评估。实验表明，所提 FishDreamer 优于分别求解各任务的方法，并在鱼眼语义补全上超越其他替代方法。代码与数据集公开于 https://github.com/MasterHow/FishDreamer。
引用
@article{arxiv.2303.13842,
title = {FishDreamer: Towards Fisheye Semantic Completion via Unified Image Outpainting and Segmentation},
author = {Hao Shi and Yu Li and Kailun Yang and Jiaming Zhang and Kunyu Peng and Alina Roitberg and Yaozu Ye and Huajian Ni and Kaiwei Wang and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2303.13842},
year = {2023}
}
备注
Accepted to CVPR OmniCV 2023. Code and datasets will be available at https://github.com/MasterHow/FishDreamer