颜色不可知的跨光谱视差估计
图像与视频处理
2024-11-08 v2
摘要
随着相机模组日益廉价,多光谱相机阵列已从特殊应用进入大众市场,例如在汽车系统、智能手机或无人机中。由于存在多种模态,不同视点的配准及所需的跨光谱视差估计至今仍极具挑战性。为克服这一问题,我们提出了一种新颖的光谱图像合成方法,并结合颜色不可知变换。因此,任何最近发表的立体匹配网络均可被转化为跨光谱视差估计器。我们提出的算法仅需 RGB 立体数据即可训练跨光谱视差估计器,并实现了从人工训练数据到相机拍摄图像的泛化。通过与现有技术进行广泛对比评估(包括自行录制的多光谱数据及参考实现),完成了对该新颖颜色不可知方法的理论验证。该新颖的颜色不可知视差估计方法改进了跨光谱及传统彩色立体匹配,将跨光谱和单模态内容的平均端点误差分别降低了 41% 和 22%。
引用
@article{arxiv.2312.08946,
title = {Color Agnostic Cross-Spectral Disparity Estimation},
author = {Frank Sippel and Nils Genser and Hannah Och and Jürgen Seiler and André Kaup},
journal= {arXiv preprint arXiv:2312.08946},
year = {2024}
}