用于改进视觉感知的水下图像同步增强与超分辨率
计算机视觉与模式识别
2020-02-05 v1 机器人学
图像与视频处理
摘要
本文提出并解决了水下机器人视觉的同步增强与超分辨率（SESR）问题，并为近实时应用提供了高效解决方案。我们提出 Deep SESR，一种基于残差中的残差网络的生成模型，能够学习以 2 倍、3 倍或 4 倍更高空间分辨率恢复感知图像质量。我们通过制定多模态目标函数监督其训练，该函数处理了特定色度的水下颜色退化、图像锐度缺失以及高层特征表示损失。它还被监督学习图像中的显著前景区域，进而引导网络学习全局对比度增强。我们设计了一种端到端训练流程，在共享的层次特征空间上联合学习显著性预测与 SESR，以实现快速推理。此外，我们提出 UFO-120，这是首个促进大规模 SESR 学习的数据集；它包含超过 1500 个训练样本和 120 个样本的基准测试集。通过在 UFO-120 及其他标准数据集上的详尽实验评估，我们证明 Deep SESR 优于现有的水下图像增强与超分辨率方案。我们还在若干测试用例上验证了其泛化性能，这些用例包括具有不同光谱与空间退化程度的水下图像，以及包含未见自然物体的地面图像。最后，我们分析了其在单板部署上的计算可行性，并展示了其对视觉引导水下机器人的操作益处。模型与数据集信息将发布于：https://github.com/xahidbuffon/Deep-SESR。
引用
@article{arxiv.2002.01155,
title = {Simultaneous Enhancement and Super-Resolution of Underwater Imagery for Improved Visual Perception},
author = {Md Jahidul Islam and Peigen Luo and Junaed Sattar},
journal= {arXiv preprint arXiv:2002.01155},
year = {2020}
}