像素级深度图像拼接
计算机视觉与模式识别
2021-12-14 v1
摘要
图像拼接旨在将不同视角拍摄的图像拼接成具有更宽视场的图像。现有方法利用估计的扭曲函数将目标图像扭曲到参考图像，其中单应性是最常用的扭曲函数之一。然而，当图像因非平面场景和相机平移运动而产生较大视差时，单应性无法完全描述两幅图像之间的映射。基于全局或局部单应性估计的现有方法均无法避免此问题，并因视差而产生不期望的伪影。本文不依赖基于单应性的扭曲，而是提出一种新颖的深度图像拼接框架，利用像素级扭曲场来处理大视差问题。所提出的深度图像拼接框架由两个模块组成：像素级扭曲模块（PWM）和拼接图像生成模块（SIGMo）。PWM采用光流估计模型获取整幅图像的像素级扭曲，并利用所得扭曲场重新定位目标图像的像素。SIGMo在融合扭曲后的目标图像与参考图像的同时，消除错位、接缝和孔洞等损害拼接结果合理性的不期望伪影。为训练和评估所提框架，我们构建了一个大规模数据集，包含具有对应像素级真实扭曲的图像对以及采样拼接结果图像。我们表明，所提框架的结果在质量上优于传统方法，尤其在图像具有大视差时。代码与所提数据集将很快公开。
引用
@article{arxiv.2112.06171,
title = {Pixel-wise Deep Image Stitching},
author = {Hyeokjun Kweon and Hyeonseong Kim and Yoonsu Kang and Youngho Yoon and Wooseong Jeong and Kuk-Jin Yoon},
journal= {arXiv preprint arXiv:2112.06171},
year = {2021}
}