去而复返:自监督多光谱对应估计
计算机视觉与模式识别
2022-12-06 v2
摘要
从自动驾驶到医学成像的广泛应用中,多光谱图像提供了提取彩色图像中所不具备的额外信息的机会。使该信息易于获取的最重要步骤之一是准确估计不同光谱之间的稠密对应。由于跨光谱图像的性质,大多数视觉领域的对应求解技术根本不适用。此外,大多数跨光谱技术利用特定光谱特征来执行对齐。在本工作中,我们旨在以一种泛化到多于一种光谱的方式解决稠密对应估计问题。为此,我们引入了一种新颖的循环一致性度量,使我们能够自监督。这与我们的光谱无关损失函数相结合,允许我们在多个光谱上训练同一网络。我们在具有挑战性的稠密 RGB-FIR 对应估计任务上展示了我们的方法。我们还展示了我们未修改的网络在 RGB-NIR 和 RGB-RGB 情形下的性能,其中我们取得了比类似自监督方法更高的精度。我们的工作表明,跨光谱对应估计可以在一个通用框架中解决,该框架学习跨光谱泛化对齐。
引用
@article{arxiv.2103.10768,
title = {There and Back Again: Self-supervised Multispectral Correspondence Estimation},
author = {Celyn Walters and Oscar Mendez and Mark Johnson and Richard Bowden},
journal= {arXiv preprint arXiv:2103.10768},
year = {2022}
}
备注
To be published in IEEE/RSJ International Conference on Robot and Automation (ICRA) 2021